Universidade Federal do Rio Grande do Norte

Centro de Cincias Humanas, Letras e Artes

Programa de Ps-graduao em Psicologia

PUBLICAO E AVALIAO DE PERIDICOS CIENTFICOS:

PARADOXOS DA CLASSIFICAO QUALIS EM PSICOLOGIA

Ana Ludmila Freire Costa

Natal
2006

Ana Ludmila Freire Costa

PUBLICAO E AVALIAO DE PERIDICOS CIENTFICOS:

PARADOXOS DA CLASSIFICAO QUALIS EM PSICOLOGIA

Dissertao elaborada sob orientao do Prof.

Dr. Oswaldo Hajime Yamamoto e apresentada
ao Programa de Ps-Graduao em Psicologia
da Universidade Federal do Rio Grande do
Norte, como requisito parcial obteno do
ttulo de Mestre em Psicologia.

Natal
2006

Agradecimentos
Ao Prof. Dr. Oswaldo H. Yamamoto, para quem no h palavras que
expressem minha admirao e gratido, cuja pacincia e sabedoria compensam qualquer
falta de tempo e que, com suas orientaes que provocam mais dvidas do que certezas,
me conduziu elegantemente pelo cenrio acadmico.
Aos professores do Programa de Ps-Graduao em Psicologia da UFRN, em
especial ao Prof. Dr. Jos Q. Pinheiro, especialmente pelas longas conversas no
restritas vida acadmica e Prof Dr Lvia de Oliveira Borges, pelas contribuies ao
desenvolvimento da dissertao.
Aos membros do Grupo de Pesquisas Marxismo & Educao, em especial
bolsista de Iniciao Cientfica Keyla Mafalda de Oliveira Amorim, pela ajuda durante
todo o trajeto do curso de mestrado e Prof Dr Isabel Fernandes de Oliveira, pela
colaborao tanto na dissertao como na vida pessoal.
A todos aqueles que fizeram ou fazem parte da revista Estudos de Psicologia
(Natal), onde dei meus primeiros passos na rea de publicao cientfica e pude
acompanhar a luta diria para publicao de uma revista cientfica de qualidade e
reconhecida pela comunidade acadmica de Psicologia.
Aos mestrandos do Programa de Ps-Graduao em Psicologia da UFRN da
turma 2004.1, pela troca de experincias e pelo companheirismo nas horas de
dificuldade e s colegas do Curso de Psicologia da UFRN da turma 2003.2. (Janine,
Mariana, Marluce, Micheline, Monique, Nivia, Raquel e Vanessa), sempre dispostas a
ajudar, a encorajar frente aos desestmulos e, acima de tudo, a acolher.
Dentre as amigas, foi essencial a convivncia com a mestranda Candida Maria
Bezerra Dantas, parceira desde a graduao, com quem descobri o real valor da amizade

e que sempre esteve presente em diferentes momentos: nos mais descontrados, como
nas viagens para congressos e na rdua tarefa dos estudos e pesquisas.
Aos amigos Alex Reinecke Alverga, Ana Anglica Fernandes e Iluska
Linhares, aos primos (e tambm amigos) Danilo Tzio e Luana de Oliveira, e ao querido
(e muito companheiro) Roberto Lima, que trazem mais diverso para minha vida, me
levando longe da universidade e perto do lazer.
Aos meus pais e irmos, que se esforam para me mostrar que a importncia e
beleza da vida esto nos aspectos mais simples, como solidariedade, respeito e amor. E
em especial Andra e Tiago, pela convivncia afetuosa e apoio incondicional nesses
ltimos dois anos.
A todos os participantes da pesquisa editores, bibliotecrios e membros da
Comisso de Avaliao cuja colaborao tornou possvel este trabalho. Em especial,
s Profas Dras Silvia H. Koller e Maria do Carmo Guedes, que me ajudaram a desvendar
as nuanas das avaliaes de peridicos da rea.
E ao Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico
(CNPq), pela concesso da bolsa de estudos.

Sumrio

Lista de figuras.............................................................................................. vii

Lista de tabelas.............................................................................................. viii
Lista de siglas................................................................................................ ix
Resumo.......................................................................................................... xi
Abstract.................................................................................. xii
1. Introduo...................................................................................................... 13
Parte I: Conceituao e delineamentos........................................................... 23
2. Abordagem preliminar: os peridicos cientficos de Psicologia................... 24
2.1. Noes bsicas: caracterizao e funcionamento dos peridicos........... 24
2.1.1.Principais atores envolvidos no processo de publicao
cientfica...................................................................................... 28
2.1.2. Mecanismos de padronizao do peridico cientfico................ 36
2.1.3. Estratgias para difuso e distribuio das revistas cientficas... 39
2.1.4. Tendncia da publicao cientfica: peridicos eletrnicos........ 44
2.2. Quadro atual dos peridicos cientficos de Psicologia: retrospectiva e
projees do sistema editorial da rea..................................................... 46
2.2.1. Breve histrico dos peridicos cientficos em Psicologia........... 47
2.2.2. Apresentao dos servios editoriais de Psicologia no Brasil.... 50
3. Delineamento do campo de pesquisa: as avaliaes de peridicos
cientficos de Psicologia................................................................................ 55
3.1.Elementos fundamentais para uma avaliao de peridicos................... 55
3.1.1. Os primeiros modelos de classificao de ttulos cientficos...... 55
3.1.2. Critrios de avaliao utilizados................................................. 59
3.1.3. Servios/instituies que realizam classificaes de peridicos
cientficos.................................................................................... 70
3.2. A avaliao de peridicos de Psicologia para Qualis: um modelo em
construo...................................................................................................... 76
3.2.1. Configuraes iniciais da classificao Qualis.........................

78

3.2.2. Repercusses da Qualis para a comunidade cientfica de

Psicologia.................................................................................... 91

Parte II: Elementos para discusso: os dados de pesquisa........................... 97

4. Materiais e mtodo........................................................................................ 98
4.1. Consulta aos editores cientficos...........................................................

98

4.2. Entrevista com bibliotecrios................................................................. 99

4.3. Consulta aos membros das Comisses CAPES/ANPEPP...................... 101
4.4. Anlise dos dados................................................................................... 102
5. A classificao Qualis sob a perspectiva dos atores envolvidos.................. 104
5.1. Apreciao sobre a adequao da avaliao Qualis............................... 105
5.2. Anlise sobre a Comisso de Avaliao de peridicos de Psicologia.... 115
5.3. Elementos complementares: periodicidade e procedimentos ................ 122
6. Consideraes sobre os critrios de avaliao............................................... 128
6.1. O instrumento de avaliao e a atualizao do processo........................ 128
6.2. Aspectos formais versus mrito cientfico ............................................. 135
6.3. Alguns critrios especficos da avaliao Qualis.................................... 146
7. Efeitos das avaliaes e mudanas percebidas no quadro editorial............... 158
7.1. As revistas melhoraram substancialmente.......................................... 161
7.2. Parmetros para publicao em Psicologia............................................. 165
7.3. O ciclo vicioso que prende as revistas cientficas ................................. 169
7.4. Comunidade acadmica/cientfica: interao e mobilizao.................. 174
8. Qualis: produo acadmica retratada em conceitos?................................... 176
9. Referncias bibliogrficas............................................................................. 191
Apndices...................................................................................................... 195
Anexos........................................................................................................... 208

Lista de figuras

Figura

Pgina
Evoluo das revistas de Psicologia na base Qualis (segundo o

1
conceito de qualidade) ............................................................................

85

Evoluo das revistas de Psicologia na base Qualis (classificao

2
mbito).....................................................................................................

87

Lista de tabelas
Tabela
1

Pgina
Resultados das avaliaes da Comisso CAPES/ANPEPP para a base
Qualis.....................................................................................................

82

Adequao da classificao de revistas de Psicologia pela Qualis.......

106

Responsveis pela avaliao de peridicos de Psicologia segundo os

editores...................................................................................................

Periodicidade para avaliao de peridicos de Psicologia, segundo os

editores...................................................................................................

158

Aspectos positivos da avaliao de peridicos para a classificao

Qualis.....................................................................................................

146

Mudanas percebidas nas revistas de Psicologia decorrentes da

Qualis, segundo os editores...................................................................

124

Critrios julgados relevantes para uma avaliao de peridicos de

Psicologia, de acordo com os editores...................................................

122

Procedimentos adequados para uma avaliao de peridicos de

Psicologia, segundo os editores.............................................................

116

159

Aspectos negativos da avaliao de peridicos para a classificao

Qualis.....................................................................................................

160

Lista de siglas
ABEC

Associao Brasileira de Editores Cientficos

ABECiP

Associao Brasileira de Editores Cientficos de Psicologia

ANPEPP

Associao Nacional de Pesquisa e Ps-graduao em Psicologia

APA

American Psychological Association

BIREME

Centro Latino-Americano e do Caribe de Informao em Cincias da

Sade

BVS-Psi

Biblioteca Virtual da Psicologia

CAPES

Coordenao de Aperfeioamento de Pessoal de Nvel Superior

CCB

Catlogo Coletivo Brasileiro de Peridicos em Psicologia

CCN

Catlogo Coletivo Nacional

CNPq

Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico

COE

Comit Editorial

DEX

Diretoria Executiva

FAP

Fundao de Amparo a Pesquisa

FAPESP

Fundao de Amparo Pesquisa do Estado de So Paulo

FINEP

Financiadora de Estudos e Projetos

GAE

Grupo de Assessoramento Editorial

IBICT

Instituto Brasileiro de Informao em Cincia e Tecnologia

INEP

Instituto Nacional de Estudos Pedaggicos

IPPUC-SP

Instituto de Psicologia da Pontifcia Universidade Catlica de So Paulo

IPUSP

Instituto de Psicologia da Universidade de So Paulo

ISI

Institute for Scientific Information

ISOP

Instituto de Seleo e Orientao Profissional

ISSN

International Standard Serial Number

JCR

Journal Citation Reports

10

LILACS

Literatura Latino-Americana e do Caribe em Cincias da Sade

OPAS

Organizao Pan-Americana de Sade

PEPSIC

Peridicos Eletrnicos em Psicologia

ReBAP

Rede Brasileira de Bibliotecas da rea de Psicologia

SBP

Sociedade Brasileira de Psicologia

SBPC

Sociedade Brasileira para o Progresso da Cincia

SciELO

Scientific Eletronic Library Online

SPSP

Sociedade de Psicologia de So Paulo

UNESCO

United Nations Educational, Scientific and Cultural Organization

USP

Universidade de So Paulo

11

Resumo
A produo cientfica brasileira tem passado por intensas mudanas visando
atender s demandas por produtividade dos pesquisadores. Entretanto, a multiplicao
de produtos acadmicos explicita a necessidade de qualificao dessa produo, uma vez
que imprescindvel a publicao de material relevante e inovador. Na Psicologia, a
avaliao de peridicos empreendida pela Comisso CAPES/ANPEPP gerou grande
repercusso na comunidade cientfica e suscita questionamentos em torno do modelo de
avaliao utilizado. Considerando este impacto, o objetivo do trabalho fazer uma metaavaliao sobre o processo de avaliao de peridicos cientficos utilizado nas revistas
de Psicologia pela CAPES para alimentao da classificao Qualis. Para a pesquisa,
foram consultados editores de revistas de Psicologia (n=38, questionrio enviado por email), bibliotecrios envolvidos com avaliao de peridicos (n=5, entrevistas semiestruturadas) e pesquisadores que participaram/participam da Comisso de Avaliao
(n=8, questes abertas via e-mail). Os resultados foram agrupados em 3 eixos temticos:
avaliao geral sobre o processo de avaliao Qualis (incluindo posicionamento sobre
constituio das Comisses de Avaliao), critrios de avaliao utilizados no modelo
adotado e os efeitos decorrentes das avaliaes para a comunidade cientfica e mudanas
percebidas no quadro editorial. Alguns aspectos centrais ficaram evidenciados: a
divergncia entre os atores envolvidos quanto adequao do modelo em retratar a
realidade editorial da rea; a discordncia em relao aos critrios adotados, que so
vistos, simultaneamente, como necessrios e teis; o reconhecimento da melhoria das
revistas, principalmente no que se refere normalizao e difuso; a indicao de que
esse modelo de avaliao no aprecia a qualidade da revista propriamente dita, ou seja, o
contedo dos peridicos por meio dos artigos. Apesar desses pontos, a avaliao dos
peridicos em Psicologia continua a ser o principal instrumento para garantir um padro
mnimo de qualidade nas publicaes da rea.
Palavras-chave: produo cientfica; peridicos de Psicologia; avaliao de peridicos;
Qualis.

12

Abstract
Recently, Brazilian scientific production has increased greatly, due to demands
for productivity from scientific agencies. However, this high increases requires a more
qualified production, since its essential that publications are relevant and original. In the
psychological field, the assessment scientific journals of the CAPES/ANPEPP
Commission had a strong effect on the scientific community and raised questions about
the chosen evaluation method. Considering this impact, the aim of this research is a
meta-analysis on the assessment of Psychological journals by CAPES to update the
Qualis database. For this research, Psychology scientific editors (38 questionnaires were
applied by e-mail) were consulted, also 5 librarians who work with scientific journals
assessment (semi-structured interviews) and 8 members who acted as referees in the
CAPES/ANPEPP Commission (open questions were sent by e-mail). The results are
shown through 3 analysis: general evaluation of the Qualis process (including the
Assessment Committee constitution), evaluation criteria used in the process and the
effect of the evaluation on the scientific community (changes on the editing scene
included). Some important points emerged: disagreement among different actors about
the suitability of this evaluation model; the recognition of the improvement of scientific
journals, mainly toward normalization and diffusion; the verification that the model does
not point the quality of the journal, i.e., the content of the scientific articles published in
the journal; the disagreement with the criteria used, seemed necessary and useful but
needed to be discussed and cleared between the scientific community. Despite these
points, the scientific journals evaluation still is the main method to assure quality for
Psychology publications.

Key-words: scientific production; Psychology scientific journals; journals assessment;

Qualis database.

13

1. Introduo
A publicao cientfica pode ser definida como um processo que engloba a
produo da informao, sua insero nos canais de comunicao utilizados pelas
comunidades cientficas e a recuperao dessa informao pelos pesquisadores e
acadmicos. Trata-se de um conjunto de atividades associadas construo,
disseminao e uso de dados, a partir da concepo da pesquisa at a aceitao das
informaes geradas como constituinte do conhecimento cientfico.
A prpria estrutura da pesquisa cientfica faz com que os pesquisadores se
envolvam com o processo de comunicao: para que todo o conhecimento construdo
exera sua funcionalidade, so necessrios o registro e divulgao dos achados por meio
da publicao cientfica. Dessa forma, a construo do conhecimento est
intrinsecamente ligada a sua comunicao, no exclusivamente com as geraes
contemporneas, mas tambm com as geraes subseqentes, sendo inegvel a
necessidade da publicao para o progresso da cincia. Afinal, sem disseminao no
h a retroalimentao necessria ao crescimento (Mueller, 1999, p. 3 ).
Segundo Meadows (1999), a comunicao situa-se no prprio corao da
cincia. para ela to vital quanto a prpria pesquisa (p. vii). O processo de
acumulao do saber envolve a troca de informaes (fornecimento de dados sobre o
prprio trabalho a outras pessoas e feedbacks a respeito do que foi processado) e
divulgao das mesmas de forma durvel e prontamente acessvel, visando a difuso do
conhecimento em longo prazo.

14

Existem diversos instrumentos de disseminao cientfica, como anais de

congressos, atas de reunies cientficas e livros. Contudo, o peridico cientfico o
meio mais consagrado e utilizado para publicao dos resultados de pesquisa em todas
as reas do conhecimento. No so poucos os autores que enfatizam a importncia dessa
modalidade de comunicao cientfica para o avano da cincia (como por exemplo:
Gibbs, 1995; Meadows, 1999; Mueller, 1999; Pessanha, 1998; Volpato & Freitas,
2003), constituindo-se em meio privilegiado para o debate cientfico e instrumento de
interlocuo entre cientistas e outros profissionais.
A despeito da importncia dos peridicos para o progresso da cincia,
comum, atualmente, a prtica de considerar mais relevante o ttulo do peridico do que
a mensagem cientfica que ele veicula. Isso acontece, sobretudo, em decorrncia da
intensa demanda atual por produtividade: para a abertura de cursos de graduao a
produo bibliogrfica dos docentes avaliada, para o credenciamento de programas de
ps-graduao necessrio alto nvel de produtividade dos pesquisadores envolvidos,
para concorrer a financiamentos, as agncias de fomento levam em considerao a
quantidade de trabalho produzida pelos pesquisadores, entre outras circunstncias.
Essa busca incessante por altos ndices de produtividade (dimensionada a partir
da quantidade de artigos publicados) traz conseqncias para os principais envolvidos
no processo de publicao: os autores, que tm de decidir como escrever e onde
publicar seus trabalhos (que muitas vezes so divididos e submetidos a diferentes
revistas para resultar em mais artigos) e apressam a elaborao do manuscrito para
minimizar o risco de ser plagiado e os editores, cujo papel tm se tornado
quantitativamente mais decisivo, uma vez que h aumento considervel de submisses
(Lawrence, 2003).

15

Alm disso, as agncias de fomento tm contribudo para acirrar a competio

entre os peridicos, fazendo com que estes disputem pelos autores que esto em maior
evidncia. Quanto aos revisores, estes tm tido cada vez mais participao em decises
editoriais e uma minoria tenta tirar proveito dessas oportunidades e, muitas vezes, agem
mais como censores do que assessores (Enserink, 2001).
possvel entender essa demanda por produo cientfica a partir da relao
entre desenvolvimento cientfico e econmico, uma vez que a sociedade moderna tem
sido caracterizada como uma sociedade do conhecimento: o crescimento vertiginoso da
produo cientfica, que ocorre desde o sculo XIX, considerado o principal vetor dos
pases desenvolvidos para promover o bem estar social e econmico. Nessa sociedade
do conhecimento, a educao concebida como a propulsora do capital humano e os
investimentos em gerao e disseminao do saber constituem alicerces do progresso do
profissional, da rea do saber e da mudana social (Mendes & Marziale, 2001).
nesse contexto que as revistas cientficas publicadas pelos pases geopoltica
e economicamente perifricos acabam no tendo prestgio reconhecido no meio
acadmico (Gibbs, 1995). importante tentar entender se a pouca visibilidade dessas
publicaes pode ser considerada um retrato mais fiel das questes econmicas e de
interesse das editoras cientficas, do que comprometimento da qualidade das pesquisas e
das produes cientficas desses pases.
Alguns dados recentes (Barros, 2000; Silva & Baffa Filho, 2000; Targino &
Garcia,

2000)

revelam

dinmica

concentradora

caracterstica

do

mundo

contemporneo e do modo de produo capitalista: quase 50% dos trabalhos publicados

em peridicos indexados internacionalmente em 2000 foram realizados por
pesquisadores dos Estados Unidos, Inglaterra e Alemanha, que representam menos de
10% da populao mundial. Dentre as citaes do Institute for Scientific Information

16

(ISI), 24% delas originam-se somente de 25 peridicos e metade de todas as citaes

so de 152 ttulos, o que reflete o controle bibliogrfico exercido pelos pases centrais
em que a maioria dos peridicos representa, de fato, a minoria da literatura cientfica.
Alm disso, a literatura registra que cerca de 70% dos peridicos latino-americanos no
esto includos em nenhum indexador, resultando em baixa visibilidade (Gibbs, 1995).
De acordo com Gibbs (1995), h um descompasso entre as revistas cientficas
publicadas nos grandes centros econmicos/industriais e aquelas produzidas nas naes
perifricas, assim como entre o material nelas veiculados. Pases como Brasil, Chile,
Venezuela e outros da Amrica Latina apresentam uma produo cientfica dramtica,
ainda que crescente, mostrando-se pouco expressiva.
Muitos dos editores e cientistas criticam os preconceitos e obstculos
enfrentados pelos pases em desenvolvimento, afirmando que artigos cuja origem dos
autores so pases perifricos esto mais propensos a serem recusados do que aqueles de
autores das grandes naes desenvolvidas. E mesmo que os manuscritos sejam
publicados, eles so menos lidos por americanos e europeus e menos citados. Essa
prtica, que impede pesquisadores de naes em desenvolvimento de compartilharem
suas descobertas com o mundo desenvolvido e entre eles prprios, dificulta os esforos
dos pases pobres para fortalecer seus peridicos indigentes.
Tal fato acaba por promover um crculo vicioso para ser lido/citado, um
peridico precisa estar acessvel aos leitores, mas apenas as revistas mais reconhecidas
so analisadas e inseridas nos ndices de citao internacional. Por sua vez, tais
indexadores incluem apenas uma reduzida quantidade de ttulos provenientes de pases
em desenvolvimento, por serem pouco consultados. E estes, ao no serem indexados em
reconhecidas bases de dados, continuam sem expressividade no cenrio cientfico.

17

Contudo, no s em dimenso global as disparidades esto presentes: as

desigualdades entre as regies poltico-geogrficas se repetem no Brasil. Dos 17 ttulos
brasilieiros indexados at recentemente no ISI, 14 so publicados por instituies do
Sudeste e cinco deles se concentram no estado de So Paulo (Barros, 2000). Assim, o
trao caracterstico brasileiro de diferenas regionais no se d apenas no plano scioeconmico, mas tambm no desenvolvimento cientfico e tecnolgico. Tal acentuado
desnvel regional da base tcnico-cientfica se apresenta nos mais diversos aspectos:
qualificao dos recursos humanos, existncia de centros de pesquisa, adequao da
infra-estrutura e investimentos financeiros.
Apesar da polarizao em relao ao desenvolvimento cientfico e tecnolgico,
muitos estudos j apontam para a multiplicao da produo do conhecimento por essas
regies perifricas.
Em pesquisa divulgada pela National Science Foundation, principal agncia de
fomento dos Estados Unidos, os dados apontam que o nmero de artigos cientficos
publicados por pesquisadores de pases latino-americanos quase triplicou em pouco
mais de dez anos. Outras regies com pases em desenvolvimento tambm apresentaram
excelente desempenho: o Norte da frica atingiu crescimento de 86% e a sia, de
133%. Quanto Amrica Latina, atingiu o ndice significativo de 191%, o que sugere
que o antigo anseio por uma maior diversidade geogrfica em relao produo
cientfica est finalmente sendo alcanado (Hill, 2004).
O bom desempenho da Amrica Latina se concentrou em quatro pases (Brasil,
Argentina, Chile e Mxico), responsveis por quase 90% dos artigos publicados em
2001. Dentre estes, o maior aumento ocorreu no Brasil, cujo nmero de artigos
publicados por pesquisadores nacionais quadruplicou durante os anos estudados. Por

18

rea de conhecimento, a maior produo foi apresentada pela engenharia e tecnologia,

seguida por biologia e outras disciplinas da rea de sade.
Mesmo considerando que tal desenvolvimento no homogneo e equilibrado
em todo o pas, o aumento da produo cientfica nacional tem ocorrido e se reflete na
proliferao de sociedades cientficas, de eventos cientficos/acadmicos, de programas
de ps-graduao, entre outras modalidades de construo do conhecimento cientfico.
Como destaque dessa evoluo, tem-se o crescimento acelerado de ttulos de
peridicos cientficos. Segundo dados do IBICT (Instituto Brasileiro de Informao em
Cincia e Tecnologia), eram mais de cinco mil ttulos de peridicos correntes brasileiros
com registro de ISSN (International Standard Serial Number) at o ano de 2000. Esse
nmero alcanou mais de nove mil ttulos em dezembro de 2004.1
O caso da Psicologia no Brasil no diferente e seu quadro editorial tem
passado por mudanas significativas nos ltimos anos. Os indicadores que apontam
novas configuraes (nos aspectos qualitativos e quantitativos) da produo cientfica
nacional em Psicologia variam desde aumento no nmero de dissertaes e teses,
proliferao de cursos de graduao e programas de ps-graduao, multiplicao de
ttulos de peridicos at maior diversidade de temticas, inovao nos recursos
metodolgicos, construo do compromisso social, entre outros (Yamamoto & Gouveia,
2003).
Para ilustrar tal situao, em 2001, quase 11 mil novos psiclogos foram
diplomados; a ps-graduao brasileira em Psicologia apresentou um crescimento de
95,9% (o nmero de programas saltou de 24, em 1996, para 47 em 2005)2; os eventos
da rea (congressos, simpsios, seminrios, reunies de entidades, etc.) tm acontecido
1

Informaes obtidas no site do IBICT (http://www.ibict.br) em 21 de janeiro de 2005.

Informaes obtidas na mesa-redonda Mestrados e doutorados no pas: um pouco do passado,
informaes sobre o presente, reflexes sobre o futuro, coordenada por Oswaldo H. Yamamoto, durante
o IV Congresso Norte-Nordeste de Psicologia, Salvador-BA, 2005.

19

em maior freqncia, com mais participao da comunidade da rea e maior nmero de

trabalhos apresentados sob as diversas modalidades (mesas-redondas, conferncias,
palestras), com destaque para a exposio de painis, que invariavelmente referem-se a
relatos de pesquisa.
fato, ento, que a produo cientfica tem aumentado ultimamente, tanto em
decorrncia da expanso da comunidade acadmica como visando atender a demanda
imposta pelas agncias de financiamento e de qualificao dos pesquisadores.
Entretanto, tal crescimento tem despertado para a necessidade de qualificao dessa
produo: no necessrio apenas produzir e publicar, mas produzir e publicar material
relevante e inovador para a comunidade cientfica.
Estudos sobre publicao cientfica no Brasil apontam que as revistas
apresentam dificuldades de diferentes naturezas. Entre as principais, figuram
normalizao incompleta, sistema de arbitragem deficiente, falhas na padronizao (dos
artigos e dos peridicos), baixo grau de originalidade dos artigos publicados e qualidade
de editorao, escassez de recursos financeiros e apoio institucional, irregularidades na
periodicidade, distribuio e comercializao deficientes e carncia de corpo editorial e
de consultores de referncia (Krzyzanowski & Ferreira, 1998; Mueller, 1999; Mueller &
Pecegueiro, 2001; Yamamoto et al., 2002).
Essas deficincias impem a necessidade de avaliao dessa modalidade de
produo cientfica, visando estabelecer um padro de qualidade compatvel com o seu
papel de disseminao do conhecimento. nesse contexto que so empreendidas as
avaliaes de peridicos cientficos, que objetivam qualificar os veculos cientficos nos
quais os pesquisadores publicam, buscando encontrar meios de manter os peridicos
melhor avaliados e estabelecer parmetros para o incremento da qualidade de cada
disciplina (Yamamoto et al., 2002).

20

Na Psicologia, os resultados das avaliaes de peridicos realizadas pela

Coordenao de Aperfeioamento de Pessoal de Nvel Superior (CAPES) para subsdio
da classificao Qualis extrapolaram o propsito inicial e passou a ser considerada em
diversos contextos, suscitando questionamentos em torno do modelo de avaliao
utilizado (Sampaio & Peixoto, 2000; Yamamoto & Lo Bianco, 2004).
O objetivo desta dissertao de mestrado fazer uma meta-avaliao sobre este
processo de avaliao utilizado pela rea de Psicologia. Pretende-se, portanto, analisar
esse modelo de classificao, a partir de levantamento feito junto aos editores de
Psicologia, aos membros da Comisso de Avaliao e a bibliotecrios com experincia
na temtica.
Justifica-se o trabalho uma vez que a avaliao de peridicos se apresenta
como um importante elemento de poltica cientfica. Por ser um meio de qualificao da
produo acadmica, gera grande repercusso e impacto nas formas de se construir
cincia. Na Psicologia brasileira, tem influenciado no modo de realizar e divulgar
pesquisas e a produo de saber na rea. Tal processo de avaliao de peridicos
(Qualis) tem, no s, qualificado os ttulos de Psicologia como, principalmente,
norteado de forma decisiva a pesquisa, a publicao cientfica e a comunidade
acadmica da rea.
A escolha por esse tema da publicao cientfica decorreu da experincia da
mestranda como bolsista de Apoio Tcnico da revista Estudos de Psicologia (Natal),
peridico cientfico vinculado ao Programa de Ps-graduao de Psicologia da
Universidade Federal do Rio Grande do Norte. Durante os ltimos trs anos do curso de
graduao (2001/2003), surgiu o interesse pelo trabalho com peridicos cientficos, que
foi intensificado pela participao em eventos da rea, organizao de exposies de
revistas e produo bibliogrfica sobre a temtica. A partir disso, foi tomada a iniciativa

21

de sistematizar um estudo mais aprofundado sobre a temtica da publicao cientfica

que se efetivou nesse curso de mestrado.
A dissertao est estruturada em duas partes: a primeira delas referente ao
levantamento bibliogrfico e conta com dois captulos de carter terico.
No primeiro captulo, intitulado Abordagem preliminar: os peridicos
cientficos de Psicologia, est descrito o contexto histrico de surgimento dos
primeiros peridicos de Psicologia e uma apresentao da situao atual do quadro
editorial da rea, em relao organizao das bibliotecas e indexadores e associao de
editores. Antes disso, porm, so apresentadas algumas noes preliminares para se
entender o funcionamento das revistas cientficas.
O segundo captulo da reviso bibliogrfica, Delineamentos do campo de
pesquisa: as avaliaes de peridicos cientficos de Psicologia, traz uma breve
retrospectiva sobre as primeiras avaliaes e discute os diversos objetivos para se fazer
uma avaliao de peridicos para, em seguida, abordar as avaliaes de peridicos
cientficos de Psicologia desde a sua primeira edio, com dados comparativos dos
resultados obtidos e os impactos e repercusses causados na comunidade cientfica.
A segunda parte da dissertao trata da pesquisa emprica e composta por um
captulo referente ao mtodo, trs captulos relativos apresentao e discusso dos
resultados e uma sesso de encerramento.
O captulo Materiais e mtodo descreve os procedimentos utilizados para
realizar a pesquisa emprica e est sub-dividido de acordo com os trs tipos de atores
consultados sobre essa avaliao de peridicos, a saber: editores, Comisso de
Avaliao e bibliotecrios. Alm disso, apresenta os passos dados para anlise dos
dados em conjunto.

22

Os trs captulos referentes aos resultados foram elaborados a partir do

levantamento de eixos temticos emergentes dos dados coletados. Assim, o primeiro
tema (captulo cinco) versa sobre a apreciao feita pelos respondentes sobre o processo
de avaliao Qualis, de uma forma geral, incluindo o posicionamento a respeito da
constituio das Comisses de Avaliao. O segundo tema (captulo seis) aborda os
critrios de avaliao utilizados, questionamentos sobre o instrumento de avaliao e
consideraes sobre itens especficos do modelo de avaliao, tais como mbito,
autoria, circulao, gesto editorial e publicao. J o tema trs (captulo sete) discute os
efeitos decorrentes das avaliaes para a comunidade cientfica e as mudanas
percebidas no quadro editorial.
A sesso de encerramento da dissertao est estruturada em dois pontos
centrais: a retomada dos principais aspectos encontrados na pesquisa sobre o processo
de avaliao Qualis de revistas da Psicologia e o papel desempenhado por essa
classificao (Qualis) em relao produo cientfica. Alm desses aspectos, so
apresentadas sugestes, contribuies do trabalho para a comunidade acadmica da rea
e os ganhos obtidos com a pesquisa.

23

Parte I
Conceituao e delineamentos

24

2. Abordagem preliminar: os peridicos cientficos de Psicologia

O quadro de peridicos cientficos da Psicologia brasileira tem passado por
significativas transformaes nos ltimos tempos, resultado do crescimento da
comunidade cientfica e da qualificao acentuada dos programas de ps-graduao e
dos pesquisadores.
Antes de abordar, especificamente, as revistas cientficas da rea, importante
tecer consideraes sobre as bases e o funcionamento dos peridicos cientficos de um
modo geral, como suas funes, os principais atores envolvidos, seus mecanismos de
padronizao e distribuio e a publicao eletrnica dos ttulos.
Construdo esse panorama, sero apresentados os primrdios dos ttulos
cientficos de Psicologia e a situao atual do conjunto de revistas cientficas de
Psicologia, assim como os servios e organismos que compem o quadro editorial da
rea no Brasil.

2.1. Noes bsicas: caracterizao e funcionamento dos peridicos

Os primeiros peridicos cientficos foram publicados na segunda metade do
sculo XVII devido, sobretudo, necessidade de comunicao, do modo mais eficiente
possvel, de resultados de pesquisas. Surgiram como uma evoluo do sistema particular
e privado de comunicao, que era feito por meio de cartas entre pesquisadores e das
atas dos encontros cientficos, e significava uma formalizao do processo de
comunicao.

25

Os pioneiros foram o Journal des Savans, editado na Frana por Denis de

Sallo e o Philosophical Transactions, pela Royal Society of London, ambos em 1665. O
primeiro fornecia informaes regulares sobre a cincia e dava nfase apresentao de
livros publicados sobre um dos ramos da cincia. Sua publicao foi suspensa durante a
Revoluo Francesa, sendo reativada em 1816, continuando at os dias de hoje. O jornal
britnico, por sua vez, considerado o prottipo das revistas cientficas atuais, j que
enfatizava os relatos de experimentos realizados pelos cientistas (Biojone, 2003;
Meadows, 1999).
No Brasil, os pioneiros Gazeta Mdica do Rio de Janeiro e a Gazeta Mdica da
Bahia, surgiram em 1862 e 1866, respectivamente, mas foi s em 1917 que surgiu, de
fato, o primeiro peridico cientfico brasileiro: a Revista da Sociedade Brasileira de
Cincias, atual Anais da Academia Brasileira de Cincia. Entretanto, a preocupao
com o processo de comunicao cientfica, no s no Brasil mas em toda a Amrica
Latina e Caribe, intensificou-se apenas a partir das dcadas de 1950 e 1960, quando as
atividades de pesquisa na regio comearam a ser organizadas com o apoio do Estado
(Biojone, 2003).
Desde tais precursores at os dias atuais, o quadro editorial da produo
cientfica passou por significativas transformaes. Apesar do feitio das revistas ter
permanecido praticamente inalterado durante esses trs sculos, h algumas
caractersticas que diferenciam os primeiros peridicos dos atuais. Muitas dessas
mudanas tambm esto relacionadas com o crescente aumento e fragmentao da
comunidade cientfica e com a conseqente necessidade de melhorar a eficincia de
suas atividades de comunicao.
As principais caractersticas que marcam o cenrio atual da publicao
cientfica so a diversificao (ao tradicional veculo de comunicao vieram juntar-se

26

outros como o de resumo, o de cartas e o de reviso e sntese da literatura), a

especializao e fragmentao (os primeiros campos especficos do conhecimento a
publicarem peridicos foram fsica, qumica, biologia, agricultura e medicina) e o
crescimento exponencial de ttulos (as revistas passaram a ser publicadas por editoras
comerciais, universidades e pelo Estado) (Stumpf, 1996).
Contudo, desde o seu surgimento, as funes desempenhadas pelos peridicos
cientficos na cincia tm permanecido praticamente inalteradas. Os principais papis
atribudos aos peridicos cientficos so de arquivo e memria do conhecimento,
disseminao de informaes, formalizao do conhecimento e concesso de prestgio e
reconhecimento (Biojone, 2003; Miranda & Pereira, 1996; Valerio, 1994).
A funo de arquivo e memria do conhecimento considerada um de seus
papis prioritrios. O peridico como registro oficial pblico constitui o meio formal
pelo qual a associao editor/avaliador controla a qualidade da revista, sendo tambm
meio de validao do trabalho do autor. Assim, os peridicos se apresentam como meio
de preservao e documentao do trabalho cientfico, constituindo tambm um arquivo
por ser fonte do saber cientfico e do conhecimento pblico. igualmente por meio da
funo de registro que o peridico ganha importncia no estabelecimento de prioridade
da descoberta cientfica.
A funo seguinte diz respeito disseminao de informaes, sejam elas
histricas, metodolgicas, pedaggicas, etc. Alm de despertar interesse e fomentar
discusso sobre os temas nelas veiculadas, fornece dados para cientistas, permitindo e
estimulando a comunicao entre pesquisadores e comunidades cientficas distintas,
favorecendo o desenvolvimento, a atualizao e o avano das pesquisas cientficas.
Nesse sentido, o peridico desempenha papel importante para a visibilidade de seus
autores e editores.

27

A publicao e preservao do conhecimento cientfico possibilitam ao

peridico exercer outra funo: a de formalizao do conhecimento, por meio da
publicao de contribuies originais e significativas, refletindo a produo cientfica de
uma determinada rea. Dessa forma, as revistas so importantes instrumentos para a
constituio de disciplinas e para o desenvolvimento de comunidades cientficas
especficas, desempenhando papel chave na definio e legitimao de novos campos
do conhecimento. Por fim, constitui-se em um legtimo espao para institucionalizao
do conhecimento e avano de suas fronteiras.
Como veculo de comunicao entre os pares, o peridico ainda cumpre
funes que permitem ascenso do cientista para efeito de promoo, reconhecimento e
conquista de poder em seu meio. Assim, o ato de publicar artigos exigido pelos pares
como prova de efetiva participao em pesquisas cientficas. O peridico cientfico
pode, dessa forma, atribuir prestgio e reconhecimento no s a autores, mas, tambm, a
editores, instituies e avaliadores.
importante atentar que tais funes se configuram de forma interdependente,
ou seja, no h separao ntida entre o registro de informaes, a formalizao do
conhecimento produzido e a promoo do debate pblico. Por exemplo, difcil que um
pesquisador e seus estudos ganhem visibilidade e prestgio sem que haja divulgao e
registro formal dos dados pesquisados.
Contudo, para que um peridico exera todas essas funes, necessrio que
antes se estabelea e se consolide na rea de interesse em que est inserido. Para tanto,
so enumeradas algumas condies que influenciam o desenvolvimento desse veculo
de comunicao: rea de atuao diversificada e desenvolvida; comunidade cientfica
engajada e atuante em pesquisas; grupos e instituies responsveis pela edio,
avaliao, publicao e disseminao; existncia de mercado representado por uma

28

comunidade de usurios que o legitimem; e infra-estrutura para distribuio,

recuperao e acesso s informaes (Miranda & Pereira, 1996).

2.1.1. Principais atores envolvidos no processo de publicao cientfica

O pleno funcionamento de um peridico cientfico requer, fundamentalmente, a
participao direta de, pelo menos, trs atores o editor, o autor e os revisores,
responsveis pela produo dos ttulos que sero consumidos pelos outros partcipes
essenciais do processo de comunicao cientfica, qual seja, os leitores e os servios de
distribuio como bibliotecas e indexadores. Como os papis desses atores so
desempenhados

pelos

pesquisadores

da

rea,

comunidade

cientfica

simultaneamente, produtora e consumidora dos artigos publicados pelas revistas.

Os editores desempenham papel central no processo de comunicao na
cincia, ocupando a funo de verdadeiros gatekeepers, ou seja, intermedirios entre
autores, revisores e leitores, integrando os diversos interesses desses participantes
(Youdeowei, 2001).
Responsvel por todas as etapas que envolvem a rotina de uma publicao
cientfica, o editor trata desde aspectos administrativos e financeiros, at a garantia de
qualidade do peridico. As atividades englobam o recebimento de manuscritos,
articulao com membros da comisso editorial, elaborao, discusso e efetivao da
poltica editorial, contatos com revisores e deciso final sobre a publicao dos
manuscritos. Alm disso, o levantamento de recursos para a revista e as tarefas
relacionadas editorao muitas vezes so mencionadas.
Por tal desempenho, o editor considerado a autoridade final e sua atuao no
trmite de manuscritos cientficos decisiva, j que os autores confiam a ele o
resultado, muitas vezes, de anos de pesquisa. O desenvolvimento profissional, a

29

reputao e a carreira desses cientistas dependem, em grande parte, dos trabalhos

publicados, da a grande importncia atribuda ao papel dos editores.
So muitas as questes ticas envolvendo a atuao do editor de um peridico
cientfico. Ele tem a responsabilidade maior de viabilizar a publicao de trabalhos de
qualidade, providenciar para que o peridico seja adequadamente divulgado e inserido
nos indexadores relevantes e fazer isso, ao mesmo tempo, compatibilizando com o que
prioritrio ou desejvel por parte dos agentes financiadores. No deve haver privilgio
por um trabalho em razo de critrios no acadmicos, mas, sim, zelo pela
independncia intelectual do autor e do consultor (Feitosa, 1994b).
Outro papel do editor processar os manuscritos com presteza para que a
matria publicada seja atual e, para tanto, so necessrios recursos financeiros
suficientes, disponibilidade de tempo e aporte operacional (apoio fornecido, geralmente,
pela instituio qual a revista est vinculada).
A formao dos editores provida pela prpria prtica e um aspecto essencial
o seu conhecimento sobre pesquisa e sobre a rea de atuao, pois, sua principal tarefa
o controle da produo cientfica de alta qualidade. A atividade raramente remunerada
e, na maioria das vezes, o editor concilia as funes de professor e pesquisador com a de
editor de peridico cientfico. Embora os estatutos das revistas garantam a alternncia
no cargo, h a tendncia para a permanncia do mesmo editor frente das revistas, o
que, por um lado, benfico, j que preciso tempo para adquirir a experincia
necessria; por outro, prejudicial, por contribuir para um sistema fechado na revista,
sem renovao de idias e estilo.
Para auxiliar o editor nas suas tarefas, a revista pode contar ainda com editores
associados (ou adjuntos), que podem desempenhar as mesmas atividades que o editorchefe; conselho (ou comisso, comit) editorial, que um grupo de pesquisadores de

30

excelncia que participa das discusses sobre a poltica editorial do peridico, ajuda a
compor o corpo de assessores cientficos, revisa manuscritos e d prestgio revista; e
conselho cientfico, composto por membros da comunidade cientfica que se distinguem
dos consultores ad hoc por serem fixos na revista e requisitados para avaliar trabalhos
de destaque e tambm avaliar pareceres de outros avaliadores (Valerio, 1994).
O editor e seus auxiliares devem ter um amplo conhecimento sobre a
comunidade cientfica e selecionam os avaliadores dos manuscritos a partir disso. No
h um critrio nico para formalizao da escolha, mas em geral so escolhidos entre os
melhores especialistas do tema de que trata o trabalho, preferencialmente com ttulo de
doutor e que publique regularmente. Uma vez selecionados os consultores, inicia-se o
processo de arbitragem dos manuscritos, sendo o sistema peer review (reviso por
pares) o mecanismo padro utilizado pela maioria dos peridicos cientficos (nacionais
e internacionais) comprometidos com a qualidade.
Tal sistema de arbitragem envolve o uso sistemtico de rbitros para
assessorar na aceitao de manuscrito submetido publicao (Pessanha, 1998, p.
226)3. O nmero de avaliadores que julgam os artigos varia de um a trs, dependendo
do critrio de cada editor, e podem emitir parecer com base em roteiro pr-determinado
pela revista, ou no. Os pareceres adotados so de modelos variados, mas, em geral,
obedecem s categorias aceito para publicao sem restries, aceito para publicao
com necessidade de alteraes e rejeitado. No caso de pareceres divergentes de dois
consultores sobre o mesmo trabalho, os editores freqentemente submetem a um
terceiro avaliador. Independente do modelo a seguir, a aceitao final da publicao dos

O incio oficial desse procedimento data de 1753, quando a Royal Society of London passou a se
responsabilizar formalmente pela avaliao dos textos publicados, suprindo a necessidade de organizao
e seleo do material submetido para publicao. Contudo, a disseminao dessa prtica ocorreu apenas a
partir do sculo XX, decorrente do crescimento exponencial da produo cientfica aps a II Guerra
Mundial.

31

artigos fica a cargo do editor ou comisso editorial, ou seja, os pareceres so

indicativos, sendo apenas um dos elementos no processo de deciso da publicao de
manuscritos.
O anonimato de autores e revisores critrio de cada revista e pode ser apenas
em relao ao autor ou ao revisor, ou ainda, o duplo-cego. A importncia de garantir o
carter confidencial do processo de reviso por pares tem sido ressaltada, uma vez que
tal sigilo pode evitar ou minimizar as distores conseqentes do uso desse sistema.
O procedimento de reviso cega por pares implica duas condies: a reviso
por pares, que coloca nas mos da comunidade cientfica o julgamento da propriedade
e da qualidade que so esperados do trabalho submetido; e o procedimento cego, que
objetiva assegurar ao consultor e ao autor liberdade para expresso e aceitao do
julgamento. Amplamente aceito na comunidade cientfica internacional, este sistema de
arbitragem necessita de monitoramento por parte do editor, a fim de efetivar o
procedimento e fazer cumprir seus objetivos.
So vrios os problemas que cercam o duplo cego: identificao do autor do
trabalho pelo consultor, freqente, principalmente, quando o nmero de especialistas da
rea temtica restrito e a despersonalizao do manuscrito invivel; conflitos de
interesses e enfrentamentos pessoais, evitados, parcialmente, quando a escolha do
consultor leva em considerao a afiliao institucional; erros de julgamento ou
argumentos preconceituosos, possveis de no acontecer quando se solicita parecer de
avaliadores com formao terica ou metodolgica pertinente ao contedo do trabalho a
ser avaliado, resguardando a posio de maturidade e autoridade do consultor; e
aumento no tempo de tramitao do manuscrito, desde a submisso at a sua
publicao. Em geral, tais riscos derivam das limitaes e erros do comportamento

32

humano, como resistncia a novas idias e mtodos, inveja e preconceito profissionais,

crticas destrutivas e fraudes (Feitosa, 1993).
Em artigo publicado pela revista Science (Enserink, 2001), foi discutida a
polmica de que pesquisadores encontravam pouca evidncia de que o peer review
melhora efetivamente a qualidade dos artigos e que os peridicos deveriam avaliar seus
prprios procedimentos com o mesmo rigor cientfico que cobram de seus autores. A
literatura cientfica vem abordando, cada vez mais, essa questo tica envolvida na
reviso por pares: algumas sociedades cientficas e peridicos importantes
desenvolveram cdigos de tica que prescrevem normas de comportamento aos
pesquisadores no desempenho dos papis de autores, avaliadores e editores.
Alm disso, pases de desenvolvimento cientfico mais avanado tm discutido
sobre instituies que transcendam as comunidades cientficas e se responsabilizem pelo
controle tico na publicao cientfica. Por exemplo, nos Estados Unidos, foi criado em
1990, o Comit de Integridade Cientfica; na Frana, foi criado o Comit de tica para
as Cincias do Centre National pour la Recherche Scientifique em 1994; e pases como
Dinamarca, Noruega, Finlndia e Austrlia, juntamente com o Reino Unido, esto
interessados em criar um rgo encarregado de combater a fraude na investigao
mdica. No Brasil, tem-se a Comisso Nacional de tica em Pesquisa, criada em 1996
como rgo institucional ligado ao Conselho Nacional de Sade, com carter
interdisciplinar e participao de um representante da comunidade, que tem por funo
monitorar os projetos de pesquisa desde o seu planejamento at a publicao dos
achados4.

Embora os procedimentos requisitados pelos Comits de tica em Pesquisa objetivem resguardar a

integridade e a garantia de anonimato, entre outros direitos, a comunidade cientfica de Psicologia tem
feito srios questionamentos a essas instncias. A simples transposio das exigncias em relao s
pesquisas envolvendo seres humanos realizadas pelas disciplinas de Sade para aquelas do mbito da

33

Apesar das falhas e distores envolvendo o peer review, quando este processo
bem conduzido pode ser benfico para o editor e para a comunidade cientfica de
modo geral. Por meio da reviso pelos pares possvel a correo de erros e preveno
de publicao de trabalhos cientificamente inconsistentes, melhorar a anlise e
apresentao do contedo da pesquisa, proteger outros cientistas de cometer erros
baseados em artigo mal escrito e treinar jovens pesquisadores sobre a melhor forma de
comunicao de resultados de pesquisas.
Para investigar a adoo deste mecanismo como sistema de arbitragem padro
e a avaliao feita pelos editores sobre esse processo, foi empreendido um estudo por
Castro, Negro e Zaher (1996) com 507 peridicos latino-americanos indexados nas
bases LILACS (Literatura Latino-Americana e do Caribe em Cincias da Sade) e
Medline sobre procedimentos editoriais. Foi constatado que apenas 54,4% dos
peridicos tinham instrues definidas para os avaliadores, mas que so raras as revistas
(4,75%) que publicam trabalhos sem avaliao prvia e que 66% dos editores
consideram que a reviso feita pelo corpo editorial equivalente de revisores externos.
Percebe-se, assim, que a avaliao do trabalho cientfico materializada pela
participao de dois atores: o editor e o consultor cientfico, j que primeiro h o
controle dos avaliadores sobre o trabalho a ser publicado e, em seguida, o da avaliao
dos pareceres por parte do editor cientfico (Pessanha, 1998). So muitos os editores que
acreditam que o processo de reviso ajuda, mesmo que os estudos no comprovem
objetivamente e que, apesar das conhecidas crticas, o sistema de arbitragem tem
desempenhado um papel crucial no desenvolvimento da cincia. Um artigo publicado
em um peridico de qualidade no representa apenas a opinio do seu autor, mas

Psicologia, cujos aspectos so mais amplos, muitas vezes comprometem a operacionalizao dos estudos
nessa rea.

34

carrega, tambm, a garantia da autenticidade cientfica, fornecida pelo editor e pelos

avaliadores do trabalho.
O terceiro participante fundamental para o processo de publicao cientfica o
autor: sem ele, no h material para ser avaliado e editado. A atuao do autor comea
desde a conduo da pesquisa, quando deve seguir padres ticos, muitas vezes
definidos nos cdigos de tica de cada profisso, em rgos de classe ou agncias de
fomento. Cabe ao peridico, ento, declarar as normas que exige serem cumpridas para
submisso de manuscritos.
No momento da preparao da comunicao, h algumas consideraes ticas
pertinentes. A atribuio de autoria responsabilidade da equipe de pesquisa, que deve
nomear as pessoas que tiveram contribuio intelectual relevante para a realizao do
trabalho e os auxlios tcnicos, apoios pontuais e financiamentos devem ser
reconhecidos em notas e agradecimentos. Tambm esperado do autor imparcialidade
ao citar a literatura pertinente, no omitindo informaes diretamente relacionadas ou
discordantes sobre o assunto e que os resultados reflitam com fidelidade dados
efetivamente coletados (Feitosa, 1994a).
Os peridicos cientficos se propem a publicar apenas artigos originais
(aqueles que contenham algum fato novo e que no tenham sido anteriormente
publicados). Alguns autores fazem encaminhamento simultneo (submisso do
manuscrito a mais de uma revista), o que rejeitado por grande parte da comunidade
cientfica, uma vez que a falha tica grave por caracterizar autoplgio, estratgia para
autopromoo indevida.
Prticas endgenas tambm so evitadas pelos editores de peridicos. O
processo de endogenia de autoria na cincia caracterizado pela presena, na revista, de
autores que pertencem instituio editora, podendo se estender tambm concentrao

35

de autores com a mesma orientao ideolgica com trabalhos publicados numa mesma
revista (Valerio, 1994). A endogenia no considerada saudvel para o
desenvolvimento cientfico uma vez que oferece uma viso unilateral dos fenmenos,
no possibilita troca e no permite renovao de idias.
Outro problema relacionado autoria cientfica diz respeito ao privilgio
concedido pelos peridicos aos pesquisadores mais renomados, a fim de atrair ateno
da comunidade cientfica para os estudos de ponta. Em detrimento, os espaos
conferidos a autores iniciantes como recm-mestres ou recm-doutores se tornam cada
vez mais restritos e disponveis em ttulos com menor visibilidade e, portanto, menor
alcance. Quanto a isso, preciso que haja um alinhamento entre a proposta editorial e os
artigos que so publicados por um determinado peridico, para que haja a veiculao de
material apenas em virtude do contedo propriamente dito, e no do currculo dos
autores.
Por outro lado, os autores devem estar atentos s normas de publicao das
revistas, evitando assim uma rejeio do manuscrito de incio. As normas elaboradas
por cada peridico cientfico informam aos pesquisadores no s sobre a padronizao
adotada (como formatao do texto, quantidade de vias a serem entregues, tabulao das
figuras, etc.), mas tambm sobre o tipo de trabalho aceito como relatos de pesquisa,
resenhas e notas tcnicas. E ainda h os casos de revistas especializadas em determinada
temtica ou metodologia, que publicam apenas material relacionado a uma rea de
enfoque, o que os autores precisam conhecer e analisar no momento de escolha de um
determinado peridico para envio de seus trabalhos.
Em suma, os editores, revisores e autores trabalham em conjunto e se esforam
para que o objetivo maior do peridico cientfico seja alcanado: divulgao de

36

informao cientfica relevante com a maior presteza possvel. E, nesse processo, cada
um tem seu papel a desempenhar e tarefas a cumprir.

2.1.2. Mecanismos de padronizao do peridico cientfico

Existem outros fatores que contribuem para que as revistas alcancem seu
objetivo de serem os canais de disseminao da produo cientfica da comunidade de
pesquisadores e contribuir para o avano do conhecimento, como componentes que vo
desde a padronizao do material publicado (normalizao), passando pelas barreiras
que o idioma pode representar e a regularidade de publicao dos peridicos (Volpato &
Freitas, 2003).
As revistas cientficas (e os artigos nelas publicados) precisam estar de acordo
com algumas regras formais (de preferncia, de padro internacional) e de
procedimentos, que garantam aos autores e leitores que esses veculos de comunicao
esto, realmente, interessados no progresso da cincia e editando contedo relevante
para a rea correlata.
A normalizao dos artigos e peridicos cientficos tambm se apresenta como
uma tentativa de manter vnculos eficientes em um universo de conhecimentos em
expanso. Tal padronizao do material cientfico vem atender a demanda que surgiu
diante do crescente volume de informaes e se prope a facilitar e agilizar o acesso e
recuperao das informaes disponveis. Como evidncia disso, tem-se o fato de que
os elementos que compem o texto cientfico (ttulo, resumo, corpo do texto, referncias
bibliogrficas, entre outros) sofreram mudanas considerveis desde os primeiros
peridicos at os dias de hoje e tais variaes estiveram diretamente relacionadas
necessidade de aprimorar a comunicao entre a comunidade cientfica, cada vez maior
e mais complexa (Meadows, 1999).

37

A atual busca por altos ndices de produtividade por parte dos pesquisadores,
que representam os principais meios de verificao para a concesso de financiamentos
pelas agncias de fomento, fundamenta a idia de que no basta publicar, preciso ser
lido e citado. Ou seja, os cientistas se deparam com um duplo esforo: conseguir que
seu artigo seja publicado e fazer com que, depois de divulgado, o manuscrito seja
acessado e comentado pela comunidade cientfica.
Os artigos, ao serem submetidos revista, j devem estar de acordo com as
normas editoriais para publicao, as quais devem estar explicitadas nas instrues aos
autores. Geralmente, uma reviso tcnica necessria para os devidos ajustes de
referncias bibliogrficas e padronizao do corpo do texto (numerao e ttulos de
tabelas, tipo e tamanho da fonte adotada, etc.).
Alguns aspectos que so abordados pelas revistas cientficas so a originalidade
dos manuscritos (vista como garantia da relevncia do contedo apresentado); resumo
em, no mnimo dois idiomas, preferencialmente ingls (que permite maior alcance, no
nvel internacional); registro de datas, de recebimento e publicao (para sinalizar o
crdito pela autoria dos achados); e normas bibliogrficas bastante estritas. importante
enfatizar que a estrutura exata de apresentao das referncias bibliogrficas adotada
varia a cada revista cientfica e muitas delas esto presentes em manuais oficiais das
diversas disciplinas.
A normalizao do peridico cientfico em si refere-se presena de alguns
elementos na revista, como identificao da publicao (ISSN, endereo, legenda
bibliogrfica, linha editorial, normas de publicao, entre outros) e identificao dos
trabalhos publicados (resumos bilnges, descritores, afiliao institucional, endereo do
autor para correspondncia, etc.). Muitos desses elementos s so percebidos como
necessrios e obrigatrios ao longo da experincia do editor, que, geralmente, no

38

profissional da rea de Cincia da Informao e no tem acesso a esse tipo de

conhecimento.
O cumprimento desses aspectos formais de apresentao dos artigos e do
peridico importante no s para a qualidade da revista como para sua incluso nas
bases de dados, ainda que no seja garantia para tal (Valerio, 1994).
A maioria dos peridicos cientficos adota o idioma oficial do pas como lngua
principal para publicao. Isso tem se apresentado como uma barreira lingstica para os
pases de Terceiro Mundo, que acaba tendo pequena participao no mainstream da
cincia. Diante dessa exigncia, algumas revistas esto aceitando trabalhos tambm em
idiomas como francs e espanhol e chegando a preferir que os artigos sejam submetidos
em ingls. Se, por um lado, o idioma ingls facilita a circulao internacional, por outro,
oferece obstculos para a comunidade cientfica interna, j que um grande segmento da
comunidade ainda no domina outro idioma para produzir e consumir artigos. Nesse
caso, cabe revista fornecer em outro idioma elementos como ttulo, resumo e palavraschave que possibilitem a penetrao do trabalho no exterior.
A publicao regular das revistas essencial para que o processo de
disseminao da informao ocorra com eficincia, sem atraso ou perda de atualidade
na publicao dos artigos.
Com a regularidade de publicao, estabelece-se um ciclo interno na revista:
manuscritos so submetidos porque h garantia de divulgao em tempo hbil; havendo
a divulgao em tempo hbil, h maior afluncia de manuscritos; havendo maior
nmero de manuscritos, os critrios de seleo tornam-se mais rgidos, o que eleva o
padro de qualidade da revista. Ou seja, a publicao regular traz benefcios para o
editor e o peridico (por atrair contribuies de maior nvel) e para os autores (que tm
seus trabalhos publicados de forma atualizada).

39

Quando a periodicidade falha, torna-se difcil acertar o nmero da revista com

a data de publicao e solues como nmeros agrupados s vezes so tentadas, apesar
de ser uma sada polmica e rejeitada pela comunidade cientfica. O atraso da
publicao deve-se, principalmente, a trs fatores: tempo de editorao (demora tanto na
tramitao do manuscrito quanto na editorao e servios grficos), infra-estrutura
(devido falta de pessoal, equipamento e material) e recursos financeiros (o atraso no
pagamento dos recursos leva ao no cumprimento de compromissos com editoras e
grficas).

2.1.3. Estratgias para difuso e distribuio das revistas cientficas

O conjunto de fatores formado por idioma de publicao, padronizao dos
artigos e dos peridicos, regularidade da publicao, entre outros, fundamental para
assegurar difuso e acesso eficientes ao conhecimento. Para fazer a devida divulgao
da informao cientfica, o principal mecanismo utilizado a indexao em bases de
dados (Meadows, 1999).
So muitos os aspectos que dificultam o acesso de um pesquisador literatura
cientfica: um deles a exploso da produo bibliogrfica nas ltimas dcadas que
impe limites at para o mais dedicado pesquisador revisar o material atual publicado
de qualquer campo da cincia. Alm disso, h de se considerar o custo para adquirir a
diversidade de peridicos existentes. Assim, a indexao das revistas cientficas em
bases de dados nacionais e internacionais se torna essencial para divulgao e
visibilidade das pesquisas publicadas. Tais servios de recuperao da informao
acabam por consistir em uma ferramenta para comunicao e acesso informao
cientfica contida nos peridicos.

40

Bases de dados e indexadores so comumente chamados de fontes secundrias

de informao, que atuam como guias para o material original (ou primrio) que
publicado nas revistas ou outros meios de comunicao. Formam um conjunto
organizado de informaes ou documentos que objetivam, sobretudo, estabelecer um
padro de qualidade para a produo cientfica fazendo uso de rgidos critrios de
seleo (Targino & Garcia, 2000). Atualmente, com o aporte da tecnologia da
informao, referem-se tambm coleo de registros armazenados em suporte
magntico, acessvel por computadores.
Os indexadores funcionam reunindo um conjunto de ttulos de peridicos que
passam por um processo de triagem. Uma vez disponveis, atualmente impulsionados
pela Internet, os leitores tm acesso aos dados sobre os artigos dos peridicos indexados
ou ainda, aos resumos. Os maiores assinantes de indexadores so bibliotecas e institutos
acadmicos e de pesquisa, interessados em ter acesso aos peridicos cujos artigos tm
maior visibilidade.
Enquanto os indexadores fornecem informaes dos artigos originais (autor,
ttulo do artigo, ttulo do peridico, volume, nmero das pginas, etc.) para possibilitar
ao leitor a localizao do material de interesse sem precisar procurar minuciosamente
todos os peridicos da rea em questo, existem tambm os catlogos, que alm dos
dados sobre os artigos, provem um resumo que d ao leitor uma sntese do contedo.
Essas bases so geralmente mais descritivas e mais teis que o index, j que permitem
aos pesquisadores determinar se um artigo cujo ttulo aparenta ser interessante, o de
fato.
Diante da impossibilidade de insero de toda a literatura cientfica produzida,
os indexadores realizam um rgido processo seletivo dos ttulos, da sua importncia
para a indicao de qualidade do que est sendo publicado. A indexao considerada

41

to importante, a ponto de determinar parmetros para avaliaes da produo cientfica

internacional.
A seleo de peridicos para incluso em indexadores internacionais baseada,
principalmente, no grau de qualidade encontrado e solicitado pela comunidade cientfica
a que se refere. So vrios os fatores que influenciam a aceitao de um peridico em
uma base de dados, dependendo de cada uma, que tem seus prprios critrios e
procedimentos para seleo. Em geral, so avaliados: a poltica editorial, o seguimento
de padres internacionais, reputao e prestgio dos autores e do quadro editorial, a
qualidade do contedo dos artigos e a coerncia da linha cientfica do peridico, alm
de um sistema de arbitragem bem estabelecido e consistente. Em alguns casos, tambm
levado em considerao se um peridico especializado numa rea no muito
pesquisada ou sobre um novo e emergente tema, ou ainda, se cobre uma rea geogrfica
que no bem representada na literatura.
De acordo com Gutirrez e Lpez-Nieva (2001), existem alguns aspectos que
caracterizam as revistas cientficas de mbito internacional e que, portanto, facilitam a
sua indexao em bases de amplitude global: a) poltica editorial de alto nvel, com
artigos avaliados internacionalmente e escritos por autores de vrios pases; b) comisso
editorial composta por membros altamente conceituados, com reconhecimento
internacional e de diferentes pases de origem; c) audincia internacional e um alto
ndice de impacto (ser citado por trabalhos produzidos em naes diversas). Diante
dessa caracterizao, os peridicos ditos internacionais parecem ser o meio mais
adequado para comunicao das comunidades cientficas, as quais tentam publicar seus
melhores trabalhos nesses veculos.
Porm, poucos so os peridicos que apresentam realmente tal perfil de padro
internacional, j que grande parte dos autores que publicam nessas revistas tem como

42

origem o mesmo pas onde os peridicos so editados, no h variao de

nacionalidades entre os membros das Comisses Editoriais, alm do ndice de impacto
deles estar limitado aos pases anglo-saxes (que representam a maioria dos pases que
publicam no idioma padro adotado).
Entre as bases de dados internacionais de maior repercusso, est o Institute for
Scientific Information (ISI), nos Estados Unidos, que busca suprir as demandas da
comunidade cientfica mantendo a mais abrangente base de dados bibliogrfica e
multidisciplinar de informaes cientficas do mundo. Criado em 1958 por Eugene
Garfield, o ISI objetiva prover informaes atualizadas e de qualidade aos
pesquisadores. Oferece uma gama de produtos e servios, como marketing e
propaganda, instrumentos bibliogrficos gerenciais, bases de dados de citao e
avaliao de peridicos (Institute for Scientific Information, 1999).
Para tentar atender necessidade por informao em alguns pases de Terceiro
Mundo, ou seja, promover a visibilidade da restrita literatura tcnico-cientfica latinoamericana, foi criada a LILACS, pela BIREME (Centro Latino-Americano e do Caribe
de Informao em Cincias da Sade), destinada a registrar a produo cientfica da
Amrica Latina e Caribe na rea de cincias da sade pela indexao de centenas de
ttulos de peridicos e outros documentos.
Alm disso, em 1998, o modelo SciELO (Scientific Eletronic Library Online)
foi produzido para a publicao eletrnica cooperativa de peridicos cientficos na
Internet, respondendo s demandas por comunicao cientfica em pases em
desenvolvimento, particularmente na Amrica Latina, Caribe e Espanha. Este projeto
no consiste em um indexador, mas uma biblioteca virtual preocupada com a qualidade
de sua coleo. A partir do portal SciELO possvel consultar, gratuitamente, o texto
completo de artigos de peridicos cientficos ibero-americanos. A biblioteca produto

43

da cooperao entre a Fundao de Amparo Pesquisa do Estado de So Paulo

(FAPESP), BIREME e editores cientficos, com o apoio do Conselho Nacional de
Desenvolvimento Cientfico e Tecnolgico (CNPq). A rede SciELO vem alcanado
expressivos xitos desde a sua fundao, contribuindo para que a informao gerada
localmente possa estar amplamente disponvel com significante agilidade.
Uma outra iniciativa para melhorar o acesso informao cientfica de
qualidade, sabidamente precrio no Brasil, o Portal Peridicos CAPES. Tal alternativa
se destina a promover, de forma rpida e precisa, o contedo cientfico atualizado e de
qualidade para a comunidade acadmica brasileira. Nesse portal, a CAPES disponibiliza
texto integral de artigos de mais de 8.540 ttulos de peridicos cientficos nacionais e
estrangeiros para professores, alunos e pesquisadores, alm de bases de dados
referenciais com ferramentas de busca para agilizar a pesquisa bibliogrfica. Participam
152 instituies que foram selecionadas considerando-se a misso da CAPES de
promover a elevao da qualidade do ensino superior por meio do fomento psgraduao5. Esto includas as instituies pblicas de ensino superior, instituies de
pesquisa com ps-graduao avaliada pela CAPES, instituies privadas de ensino
superior com pelo menos um doutorado com avaliao cinco ou superior pela CAPES e
Centros Federais de Educao Tecnolgica.
A incluso de artigos e peridicos em catlogos de resumos, bibliotecas virtuais
e indexadores garante no s a credibilidade do peridico (por ter atingido um alto nvel
de qualidade assegurado pelos processos de seleo) como potencializa a sua
disseminao para uma audincia mais ampla. Um peridico, ao ser indexado, recebe o
reconhecimento de qualidade do contedo veiculado, uma vez que as bases de dados
requerem alto padro, tanto em termos de produo quanto de contedo (Targino &
5

Informaes obtidas a partir do site www.periodicos.capes.gov.br em 18 de maro de 2005.

44

Garcia, 2000). Devido a isso, muitos editores de peridicos o utilizam como uma
estratgia de marketing e o incluem em cada fascculo a lista de indexadores.

2.1.4. Tendncia da publicao cientfica: peridicos eletrnicos

Uma nova modalidade de publicao cientfica ganhou impulso a partir dos
avanos da tecnologia da informao nos anos 1990. Na verdade, a publicao
eletrnica contribui para o aperfeioamento do processo tradicional, que ganhou mais
flexibilidade e novas possibilidades de aspectos tcnicos, alm de maior eficincia nos
aspectos gerenciais e econmicos, posto que se configura como um agente de mudanas
do modelo de comunicao cientfica dominante (Packer et al., 1998).
As mudanas decorrentes da introduo de meios eletrnicos na editorao vo
desde as formas de arbitragem (os pares tornam-se seus prprios editores, j que a
reviso pode ser pblica e interativa), o acrscimo de velocidade ao processo de
editorao, a publicao direta do autor na Internet, alm da criao e operao de bases
de dados de artigos produzidos por comunidades de autores.
Alguns aspectos que emergem a partir dessa transformao nos peridicos so
bastante polmicos. A diminuio da participao das editoras com fins lucrativos, a
redefinio do direito de autoria, a abolio da organizao de algumas revistas em
fascculos em favor da publicao de artigos individuais, a alterao da identidade dos
peridicos em benefcio das bases de dados de artigos, a segurana e a integridade dos
dados, principalmente no contexto da Internet, tm gerado discusses e debates entre os
principais interessados nessa modalidade de comunicao cientfica.
Mas, sem dvida, o aspecto crucial da publicao eletrnica diz respeito
acessibilidade: a produo, gesto e distribuio da informao eletrnica possibilitam
uma disseminao do conhecimento em uma escala muito mais larga do que os meios

45

impressos. A partir disso, a colaborao e a comunicao entre os cientistas passam a

ser mais dinmicas e objetivas e o usurio pode interagir com o autor, compartilhando
informaes, fazendo comentrios e dando sugestes.
Quanto ao custo de publicao, alguns editores afirmam que mais barato
publicar revistas eletrnicas do que a verso impressa, mas nem tanto assim6. Se deixar
de contar com financiamentos de agncias governamentais e de fomento, talvez seja
virtualmente impossvel a sua sustentao. Alm disso, h de se considerar os altos
custos necessrios para a gerao e gesto de novas tecnologias. Uma alternativa
interessante a manuteno de uma forma impressa paralela eletrnica, que poderia
viabilizar o pleno funcionamento da publicao.
Uma outra questo diz respeito revoluo na veiculao de informaes
cientficas pela Internet, que tem aberto perspectivas para a disseminao do
conhecimento. O aparecimento e a acelerada universalizao da rede mundial de
computadores foram fatores decisivos em favor da consolidao da publicao
eletrnica com crescente identidade prpria, e no como simples rplica da verso
impressa. A Internet assegura no s o acesso rpido, como tambm a cobertura
universal e uma mirade de novas possibilidades, com recursos de som e vdeo e rica
interatividade. Mas, um problema da decorrente quando tal interatividade dos meios
eletrnicos possibilita alterar o contedo dos trabalhos j publicados e o conceito de
autoria precisa ser modificado (Stumpf, 1996). No h dvidas de que a Internet pode
incrementar a comunicao entre pesquisadores, por ser uma mdia de fcil acesso e que
assegura rapidez e visibilidade no intercmbio de informaes.
6

Em estudo de King e Tenopir (1998), as maiores redues de custos alcanadas pelas revistas
eletrnicas seriam no mximo da ordem de 10%. O que pode acontecer que os preos para as revistas
eletrnicas sejam estabelecidos segundo outras formas de clculo, baseadas em diferentes produtos e em
suas quantidades (um ou mais fascculos, por artigo, por pginas, etc.). Vale salientar que essa estimativa
se refere ao contexto norte-americano (custos cobertos por assinatura) e no leva em conta a perspectiva
dos arquivos abertos (Open Access).

46

De qualquer modo, seja impresso ou eletrnico, generalista ou especializado, o

peridico cientfico tem seu papel bem definido entre a comunidade cientfica. Ele
considerado o canal formal utilizado no processo de comunicao cientfica e os artigos
publicados como as formas definitivas de publicao dos resultados de pesquisa,
constituindo o canal de divulgao por excelncia das pesquisas cientficas.

2.2. Quadro atual dos peridicos cientficos de Psicologia: retrospectiva e projees

do sistema editorial da rea
Descrito o funcionamento dos peridicos e discutido o cenrio da publicao
cientfica atual, preciso tratar do contexto em que esto inseridos os ttulos de
Psicologia e caracterizar o quadro editorial da rea, para proceder anlise das
avaliaes de peridicos cientficos, alvo das discusses do captulo seguinte.
As revistas cientficas de Psicologia desempenham um importante papel na
disseminao do conhecimento produzido pelos centros de pesquisa, pelos programas
de ps-graduao e por pesquisadores independentes, funcionando tambm como
catalisadores e promotores dos debates acadmicos e cientficos.
Dos pioneiros da dcada de 1940 at os contemporneos, de iniciativas
localizadas que objetivam o escoamento da produo de departamentos de
universidades passando por ttulos de alcance internacional, h muitos pontos
divergentes, mas tambm aspectos comuns. Uma tentativa de desenhar esse cenrio
feita a seguir, apesar das limitaes decorrentes de carncia de material que trate do
tema da publicao cientfica em Psicologia no Brasil.

47

2.2.1. Breve histrico dos peridicos cientficos em Psicologia

As primeiras revistas de Psicologia de que se tem notcia datam do sculo XIX,
publicadas na Frana e Estados Unidos, e continuam sendo produzidas at hoje. Em
1894, LAnne Psychologique, de Beaunis e Binet, visava divulgar os trabalhos
desenvolvidos no Laboratoire de Psychologie Psychologique da Universidade de
Sorbonne e em 1887, foi criado por iniciativa de Stanley Hall, The American Journal
of Psychology, um peridico dedicado exclusivamente Psicologia (Sampaio, Sabadini
& Linguagotto, 2002).
No Brasil, os primeiros peridicos da rea so de 1949, perodo localizado
entre as dcadas de 1930 e 1960, considerado o momento em que a Psicologia
consolida-se como rea de conhecimento e campo de aplicao. Um estudo de Antunes
(2004) aponta que houve uma quantidade substancial de publicaes na poca, o que
reflete uma preocupao com a sistematizao e a difuso do conhecimento produzido.
dessa poca tambm a primeira participao da Psicologia na Reunio Anual da
SBPC (em 1950) e a concesso da primeira bolsa de pesquisa da rea pelo CNPq, em
1952.
Vale a pena citar dois ttulos que no eram especficos da rea de Psicologia,
mas so anteriores a eles, e que receberam freqentes colaboraes de autores da
Psicologia. Entre os anos de 1928 e 1930 foram publicados, pelo menos, 30 fascculos
da revista Educao (editada pela Diretoria Geral da Instruco Pblica e pela
Sociedade de Educao de So Paulo), que divulgavam trabalhos como A
alphabetizao das crinaas anormaes, Hygiene mental, A psycho-analyse na
educao, A orientao profissional, entre outros. J em 1944 foi criado o peridico
Revista Brasileira de Estudos Pedaggicos, publicada pelo INEP (Instituto Nacional de
Estudos Pedaggicos) e que apresentava artigos de autores da Psicologia Educacional,

48

como Arrigo Angelini e Helena Antipoff. Em seguida, os peridicos especficos de

Psicologia entraram em cena.
O peridico cientfico brasileiro pioneiro da rea foi Arquivos Brasileiros de
Psicotcnica, editado pela primeira vez em 1949 pelo ISOP (Instituto de Seleo e
Orientao Profissional), rgo da Fundao Getlio Vargas, que passou a ser intitulado
posteriormente de Arquivos Brasileiros de Psicologia Aplicada. O ISOP, criado em
1947, agregava mdicos, psiclogos e estatsticos, que realizavam exames de orientao
profissional, seleo de pessoal para empresas privadas e pblicas, mas destacou-se,
principalmente, pela produo de pesquisas e pela formao de especialistas na rea. A
revista foi um importante veculo de difuso das pesquisas e das aplicaes realizadas
pelo Instituto, principalmente sob a liderana de Emilio Mira y Lopez. publicado at
hoje,

atualmente

em

formato

eletrnico,

sob

denominao

de

Arquivos Brasileiros de Psicologia, pela Universidade Federal do Rio de Janeiro.

Outro marco histrico a fundao da Sociedade de Psicologia de So Paulo
(SPSP), em 1945, por iniciativa de Annita Cabral e Otto Klineberg, com o objetivo de
promover o desenvolvimento da Psicologia como cincia e profisso. a mais antiga
sociedade de Psicologia no Brasil e contribuiu significativamente para a regulamentao
da profisso, bem como para a criao dos Conselhos Federal e Regionais de
Psicologia. Quatro anos aps a sua fundao, lanou o peridico Boletim de Psicologia,
que tem se mantido ininterruptamente desde ento.
Contempornea a essas duas revistas, a criao da Revista de Psicologia
Normal e Patolgica, do Instituto de Psicologia da Pontifcia Universidade Catlica de
So Paulo (IPPUC-SP), foi particularmente relevante para a rea e refletia a intensa
atividade de pesquisa presente na instituio, sob a liderana de Enzo Azzi e Aniela
Meyer-Ginsberg. A publicao peridica apresentava no s uma diversidade de artigos

49

sobre as diferentes reas da Psicologia, como resenhas de obras e relatos sobre

congressos, consistindo em um importante rgo informativo (Netto, 1979).
Alm desses peridicos, tambm foram publicados na poca nmeros especiais
de Psicologia em peridicos mais gerais, como o Boletim da Faculdade de Filosofia,
Cincias e Letras da USP, com a Srie Psicologia Educacional.
At a dcada de 1980, os relatos da pesquisa psicolgica estavam distribudos
em algumas centenas de publicaes, das quais somente as trs anteriormente referidas
eram brasileiras e obedeciam aos padres estritamente cientficos. A partir da, um
grande nmero de ttulos que publicam sobre Psicologia surgiu, resultado do incentivo
criao dos programas de ps-graduao nos anos 1980, dos primeiros financiamentos
para publicaes e do crescimento da rea (Sampaio & Peixoto, 2000).
Desses primeiros peridicos at ento, subsidiados pelas universidades e
sociedades cientficas, muitos ttulos surgiram e pereceram. Atualmente, difcil
precisar o nmero exato de peridicos de Psicologia. O Index Psi Peridicos rene mais
de 160 revistas brasileiras referentes literatura tcnico-cientfica em Psicologia e reas
afins. J o Portal Peridicos CAPES, aponta mais de 800 ttulos quando se faz a
pesquisa por assunto com o termo Psicologia. A Comisso CAPES/ANPEPP utilizou
para sua penltima avaliao, em 2004, uma lista contendo 94 revistas da rea7. Alm
desses nmeros, um levantamento efetuado pela ReBAP Rede Brasileira de
Bibliotecas da rea de Psicologia, em setembro de 2001, identificou 121 ttulos de
revistas cientficas na rea de Psicologia publicadas no Brasil (Sampaio, Sabadini &
Linguagotto, 2002).

Dados disponveis nos respectivos portais: www.bvs-psi.org.br, www.periodicoscapes.gov.br e

www.anpepp.org.br. Consulta em 17 de junho de 2005.

50

2.2.2. Apresentao dos servios editoriais de Psicologia no Brasil

As revistas de Psicologia no pas contam, hoje, com alguns organismos que
compem um sistema editorial da rea, juntamente com os peridicos cientficos. So
bibliotecas (virtuais) e rede de bibliotecrios, indexadores, associao de editores e
portais de peridicos eletrnicos que pretendem garantir o acesso aos ttulos e promover
a melhoria do quadro editorial.
A Biblioteca Virtual da Psicologia (BVS-Psi) foi criada em 2001 visando
atender a uma persistente demanda da comunidade psi, que se ressentia da falta de um
instrumento que reunisse a literatura psicolgica. Esta comunidade brasileira
(acadmica e profissional) sofria com o acesso restrito s fontes de informao
disponveis para a atualizao profissional e suporte s atividades de ensino e pesquisa.
Tentando reverter a precariedade das bibliotecas, principalmente das
instituies de ensino superior, que no Brasil sofrem com a carncia no que tange ao
acervo, a BVS-Psi entre outros objetivos, incentiva o uso e aquisio de peridicos
cientficos da rea e disponibiliza uma srie de bases de dados e outros produtos e
servios (Sampaio, Sabadini & Linguagotto, 2002).
As fontes de informao oferecidas pela BVS-Psi so: o Index Psi Peridicos
Tcnico-Cientficos, base de dados referencial que contm mais de 22.000 referncias e
resumos de artigos de mais de 160 revistas brasileiras publicadas desde 1949; o Index
Psi Peridicos de Divulgao Cientfica, base de dados que cobre a literatura de
divulgao cientfica em Psicologia e reas afins, inclui mais de 2.400 referncias e
resumos de artigos de nove revistas brasileiras publicadas desde 1983; o Index Psi
Teses, que contm informaes de cerca de 2.000 dissertaes e teses defendidas no
Brasil na rea e possibilita o acesso ao texto integral quando disponvel; a LILACSPsicologia, uma base de dados cooperativa, que compreende a literatura relativa s

51

Cincias da Sade publicada nos pases da Amrica Latina e do Caribe a partir de 1982
e contm artigos de mais de 670 revistas, atingindo mais de 150.000 registros; o Index
Psi Livros, portal de livros cientficos nacionais que esto disponveis no mercado
editorial, com links para a editora responsvel pela venda; e a SciELO, biblioteca virtual
de revistas cientficas que organiza e publica textos completos na Internet. Tambm
disponibilizada uma verso SciELO-Psi, apenas com as revistas da rea de Psicologia.
Outro servio disponibilizado so os catlogos de revistas cientficas: CCB Catlogo Coletivo Brasileiro de Peridicos em Psicologia (disponibiliza informaes
sobre as publicaes peridicas especializadas em Psicologia e o usurio ou pesquisador
pode saber qual biblioteca possui o ttulo de seu interesse e obter dados sobre o editor da
revista), Portal de Revistas Cientficas Internacionais em Cincias da Sade Psicologia
(oferece aos usurios informaes sobre a descrio bibliogrfica e o acesso ao formato
eletrnico dos ttulos, bem como das colees de bibliotecas. Contm 339 ttulos
relativos a Psicologia e Psicanlise) e Revistas Psicologia - Portal CAPES (diretrio
selecionado de revistas do Portal CAPES que disponibiliza 872 ttulos com texto
completo referente ao assunto Psicologia).
Trabalhando em conjunto com a BVS-Psi, a ReBAP (Rede Brasileira de
Bibliotecas da rea de Psicologia) visa a construo e manuteno de fontes de
informao essenciais para o ensino, pesquisa e extenso em Psicologia. Criada em
maro de 2001, seu objetivo operar de forma integrada, por meio do
compartilhamento de recursos e esforos (Sampaio, 2001). Resultado do empenho do
Conselho Federal de Psicologia e do Servio de Biblioteca e Documentao do Instituto
de Psicologia da USP (Universidade de So Paulo), a ReBAP surgiu em meio s
discusses sobre a importncia do investimento no acesso informao como
contribuio ao desenvolvimento da Psicologia.

52

Composta pelas bibliotecas que do suporte aos cursos de graduao e psgraduao em Psicologia, a rede tambm est aberta para todas as bibliotecas que
oferecem apoio s atividades das diversas entidades da rea. No incio, em maio de
2001, a ReBAP contava com a adeso de 57 bibliotecas e em 2004, j eram quase 100
instituies que participavam do empreendimento.
Uma das principais atividades da Rede a alimentao das bases de dados que
sustentam a Biblioteca Virtual de Psicologia e, para tanto, as bibliotecas esto inseridas
no projeto de divulgao das fontes de informao e peridicos da rea, com
participao na capacitao de usurios e bibliotecrios.
Outra meta da ReBAP o incremento de ttulos indexados na base de dados
LILACS, cujo rgo responsvel pelos ttulos de Psicologia a biblioteca do Instituto
de Psicologia da USP. Visando a internacionalizao dos peridicos brasileiros da rea,
a biblioteca vem incorporando base, livros, captulos de livros, teses de doutorados e
artigos de peridicos. Em 1999, a LILACS ampliou o nmero de ttulos indexados
passando de quatro para nove e em 2000, sugeriu a incluso de mais onze ttulos. Hoje,
de um total de 680 revistas cientficas nas vrias reas do conhecimento provenientes de
vrios pases da Amrica Latina, 281 so brasileiras e destas, 47 so de Psicologia.
A ReBAP tambm incentiva os editores a submeter suas publicaes ao Comit
de Avaliao da APA (American Psychological Association), com o objetivo de
cadastr-las na base de dados PsycINFO, principal ndice para a Psicologia em mbito
mundial. Esse catlogo uma verso on line da publicao Psychological Abstracts e
tem como objetivo reunir e divulgar a literatura relevante publicada internacionalmente
na rea da Psicologia. No ano de 2000, havia cinco revistas brasileiras de Psicologia.
Esse nmero cresceu para seis em 2002 e agora o indexador conta com 14 ttulos

53

brasileiros da rea. Vale salientar que o universo completo da base de 1.969 revistas
cientficas8.
Alm da ReBAP e BVS-Psi, outra instncia que busca uma articulao mais
organizada da rea a Associao Brasileira de Editores Cientficos de Psicologia
ABECiP, que pretende levar apoio aos editores e avano da qualidade das revistas de
Psicologia. A Associao foi criada em agosto de 2004, votada e aprovada por
unanimidade pelos participantes do I Encontro de Editores de Revistas Cientficas da
rea de Psicologia.
Tal evento foi organizado pela Biblioteca Virtual em Sade Psicologia
(BVSPsi), e seus objetivos giravam em torno da preocupao com a melhoria da
qualidade das publicaes e da necessidade de divulgar metodologias para gesto e
publicao das revistas em formato eletrnico e sua disponibilizao gratuita na
Internet. Os temas do evento concentraram-se nas temticas: critrios de qualidade,
indexao em bases de dados, gesto editorial online e publicaes eletrnicas.
Na esteira da disponibilizao eletrnica de informaes cientficas de
qualidade, tem-se o caso da SciELO. No seu lanamento, em 1998, a biblioteca contava
com 10 ttulos. Em 2000, passou para 29 revistas, em 2002, os nmeros passaram para
63 e em 2005, eram contabilizados 134 ttulos. Desses, apenas seis so de Psicologia e
todos brasileiros.
O PEPSIC (Peridicos Eletrnicos em Psicologia) um portal com link a partir
da BVS-Psi que pretende reunir uma coleo de revistas cientficas utilizando a
metodologia SciELO. Fruto da parceria entre a BVS-Psi e a ABECiP, tem como meta
ampliar o acesso produo cientfica em Psicologia e reas afins por meio da

Dados atualizados em junho de 2005, no site da APA (www.apa.org/psycinfo)

54

publicao de peridicos em formato eletrnico e sua disponibilizao gratuita na

Internet. Atualmente, conta com 18 peridicos listados.
Todos esses servios e organismos BVS-Psi, ReBAP, indexadores, SciELO,
ABECiP, PEPSIC objetivam garantir uma estrutura editorial que permita incrementar
a qualidade e visibilidade dos peridicos cientficos em Psicologia no Brasil. Se, por um
lado, hoje so encontradas publicaes com padro internacional, por outro, no raro
se deparar com veculos de m qualidade, de baixa circulao e no padronizadas, alm
de alguns seguirem a lgica da produtividade e acabarem por servir como
desaguadouros da produo local/institucional, em vez de executar os objetivos de
difuso do conhecimento prioritariamente (Yamamoto, Souza et al., 1999).
Assim, necessrio que existam mecanismos para acompanhamento desses
peridicos cientficos visando imprimir um padro de qualidade e garantir que tais
ttulos cumpram seu papel de disseminao de informao cientfica atual e relevante. E
so as avaliaes de peridicos, desenvolvidas por diversas instituies e sob vrias
modalidades, que cumprem esse papel de monitoramento da produo cientfica, tema a
ser contemplado no captulo seguinte.

55

3. Delineamentos do campo de pesquisa: as avaliaes de peridicos

cientficos de Psicologia
Uma vez conhecido o panorama das publicaes peridicas de Psicologia, ser
apresentada a avaliao de peridicos cientficos realizada por uma Comisso de
Avaliao para composio da base Qualis, da CAPES.
Contudo, preciso tecer algumas consideraes sobre classificao de revistas
cientficas, os mtodos existentes e os servios que desenvolvem tais avaliaes a fim
de compreender com mais nitidez o contexto em que se situam as avaliaes da base
Qualis.

3.1. Elementos fundamentais para uma avaliao de peridicos

3.1.1. Os primeiros modelos de classificao de ttulos cientficos
As avaliaes de peridicos cientficos so decorrentes da necessidade de
assegurar que o desenvolvimento e aperfeioamento da cincia so feitos com
qualidade, de que o que est sendo produzido e veiculado considerado relevante e
confivel.
Os primeiros estudos sobre avaliao de peridicos cientficos datam do incio
da dcada de 1960 e foram realizados com revistas mdicas latino-americanas (Ferreira
& Krzyzanowski, 2003). O problema desses peridicos era to complexo e grave que
nenhum organismo tinha se disposto a enfrent-lo. Mas em 1964, foi proposto um
estudo para o Grupo de Trabalho para Seleo de Revistas Cientficas e Tcnicas
Latino-americanas, organizado pelo Centro de Cooperao da UNESCO (United

56

Nations Educational, Scientific and Cultural Organization) para a Amrica Latina em

Porto Rico.
Um outro trabalho pioneiro na rea o de Arends, que deu continuidade aos
estudos de avaliao das revistas mdicas, em 1968. Ele desenvolveu um trabalho em
trs frentes: avaliao da qualidade das revistas mdicas existentes na Venezuela,
definio do nmero de revistas necessrias e destaque da necessidade de um organismo
qualificado que, em conjunto com os editores de revistas, fornecesse informaes
objetivas comunidade de como enfocar este problema.
O grande mrito desse trabalho foi a inovao do coeficiente timo de revistas
mdicas, que determina a quantidade de peridicos cientficos necessrios (ou que
podem ser publicados decentemente) em um pas. Tratando-se dos pases latinoamericanos que no podem se permitir desperdiar recursos, dinheiro e esforos, o
coeficiente se apresenta como uma alternativa til e sinalizadora da produo cientfica
de cada pas. Essa medida no nivelada em funo da populao ou do tamanho de
cada regio, o que seria uma relao equivocada, mas, calculado de acordo com o
nmero de usurios das revistas. Tal coeficiente, ao ser aplicado aos principais pases
latino-americanos, explicitou que h um excesso de revistas mdicas em quase todos
eles (por exemplo, no Brasil, o nmero timo era 43 e existiam 215 ttulos) (Arends,
1968).
Para a avaliao de publicaes peridicas cientficas e tcnicas brasileiras,
Braga e Oberhofer propuseram as primeiras diretrizes em 1982. Com base no
documento da UNESCO de 1968, em algumas pesquisas realizadas9 e em conjunto com
um grupo de pesquisadores do IBICT, elas formularam um instrumento para a avaliao

No final da dcada de 1970 foi feito um estudo da rea de radiologia (Lemos, 1978) e outro em Cincia
& Tecnologia (Santos, 1979).

57

das revistas brasileiras, constituindo um trabalho histrico para as diversas reas do

conhecimento.
Dando continuidade ao estudo dos peridicos brasileiros, Yahn (1985)
modificou o modelo referido anteriormente para test-lo em 56 ttulos especializados
em Agricultura e reas correlatas s Cincias Agrcolas. A autora descreveu algumas
sugestes para o aprimoramento do modelo, como necessidade de test-lo em peridicos
tcnicos e reformulao de atribuio de pontos nos critrios Periodicidade e
Autoridade. As principais contribuies da pesquisa de Yahn foram a sugesto de que
se leve em conta a opinio de especialistas da rea, uma vez que a combinao de
mtodos (apreciao quantitativa e qualitativa) pode apresentar resultados mais
confiveis e a ressalva da utilidade do modelo para facilitar aos editores o conhecimento
de critrios e varireis adequados avaliao de peridicos, contribuindo assim, para o
aperfeioamento dos ttulos.
No final da dcada de 1980, Krzyzanowski, Krieger e Duarte empreenderam
um grandioso estudo dos peridicos cientficos brasileiros correntes com o objetivo de
subsidiar o programa de apoio financeiro a revistas cientficas da FAPESP. A agncia
de fomento, preocupada com as dificuldades e deficincias enfrentadas pelas revistas
cientficas definiu polticas de apoio as publicaes e, em 1985, criou uma
Coordenadoria de Publicaes. A meta inicial desse rgo era propor uma poltica de
auxlio financeiro para peridicos e, para tanto, necessitava estabelecer critrios para
avaliao em virtude do nmero excessivo de revistas e da limitao de recursos.
Assim, em 1988, os referidos pesquisadores, atendendo solicitao da Coordenadoria de
Publicaes da FAPESP, realizaram um projeto com modelo prprio, obtendo um
ncleo bsico de revistas cientficas brasileiras que, at 1990, orientou as atividades da

58

Coordenadoria. Em 1991, a listagem dos peridicos que recebiam auxlio financeiro da

agncia passou por uma nova avaliao (Krzyzanowski, Krieger & Duarte, 1991).
O mtodo utilizado pelo grupo para a avaliao dos peridicos foi a anlise de
mrito feita por especialistas das diferentes reas e subreas do conhecimento, seguindo
procedimentos previamente elaborados (pelos pesquisadores) e classificao por nveis
de relevncia desses ttulos, que variavam de prioritrias a no relevantes. Os
principais itens avaliados pelos especialistas eram: qualidade dos trabalhos publicados,
qualidade do corpo editorial, natureza do rgo publicador, abrangncia e indexao
(Ferreira & Krzyzanowski, 2003; Krzyzanowski, Krieger & Duarte, 1991).
Na dcada de 1990, destaca-se o trabalho de Castro, Ferreira e Vidili que
analisaram as caractersticas formais de 311 ttulos de peridicos latino-americanos de
cincias da sade indexados nos servios Medline e LILACS. A pedido da OPAS
(Organizao Pan-Americana de Sade), o objetivo do estudo era definir um modelo de
formulrio para anlise inicial dos peridicos que almejam uma indexao na base de
dados LILACS. Foi utilizado, como roteiro, o instrumento de Braga e Oberhofer (1982)
com algumas alteraes e a hiptese inicial era a de que as caractersticas formais e de
divulgao de peridicos podem ser indicativas de qualidade dos mesmos, no processo
de seleo de ttulos a serem includos em bases de dados (Castro, Ferreira & Vidili,
1996).
Apesar de os peridicos analisados terem apresentado alto ndice de
desempenho, comprovando a hiptese inicial, esse desempenho foi influenciado pelo
volumoso peso atribudo a duas variveis do modelo durao (um ponto para cada ano
de existncia) e indexao (cinco pontos para cada servio indexado), necessitando
serem redimensionadas e adaptadas para que o modelo pudesse servir para avaliao de
peridicos latino-americanos.

59

Ainda na dcada de 1990, Krzyzanowski e Ferreira propuseram um modelo de

avaliao de peridicos cientficos brasileiros para subsidiar os programas de apoio a
publicaes cientficas das agncias financiadoras FINEP, CNPq e FAPESP. O mtodo
foi desenvolvido para avaliao conjunta de mrito (contedo) e desempenho (forma)
dos peridicos brasileiros. Para a avaliao de contedo, foi enviado um roteiro prdefinido para especialistas das diferentes reas de atuao, classificando as revistas em
prioritria, importante e de importncia relativa. J a avaliao da forma aplicada
pelas autoras foi baseada no modelo de Braga e Oberhofer (1982) (Krzyzanowski &
Ferreira, 1998). Os principais resultados apontaram para a necessidade da avaliao
conjunta, tanto do contedo quanto da forma, para se obter uma viso global da
qualidade das publicaes.
Do final da dcada de 1990 aos dias de hoje, so vrias as instituies (e
procedimentos adotados) nas diversas reas do conhecimento que desenvolvem
avaliaes de peridicos cientficos.
Os critrios adotados, os mtodos utilizados e as estratgias de avaliao
empregadas variam em funo do objetivo da apreciao e da rea de conhecimento,
entre outros aspectos.

3.1.2. Critrios de avaliao utilizados

Na literatura cientfica, no h consenso a respeito de qual a maneira mais
adequada para desenvolver avaliaes de peridicos, apesar dos estudos objetivarem,
invariavelmente, a garantia da qualidade das informaes veiculadas. Para a realizao
de qualquer julgamento, necessrio definir quais os parmetros a serem levados em
considerao e que tipo de dados sero analisados. Tais escolhas podem resultar em
discordncias e crticas quanto aos critrios adotados.

60

Parece haver acordo entre pesquisadores e cientistas quanto necessidade de

avaliao dos peridicos e da produo cientfica de uma maneira geral. No h
consenso, todavia, quanto aos critrios mais adequados para desenvolver esse tipo de
apreciao (Buela-Casal, 2003).
Alm disso, h de se considerar que, em funo dos critrios adotados para
empreender uma avaliao, pode-se chegar a resultados diferentes. A valorizao de um
aspecto em detrimento de outro pode comprometer concluses e apresentar dados
enviesados de acordo com os parmetros adotados como padro.
Apesar dessa falta de conformidade, constatam-se alguns pontos em comum
nos diversos trabalhos sobre avaliaes de peridicos. Existem alguns modelos e
alternativas que estabelecem critrios e mtodos para a aferio da qualidade dos
peridicos cientficos.
As estratgias mais utilizadas so a avaliao da forma do veculo e do
contedo. Para a avaliao do contedo, podem ser utilizados o sistema de indicao
por pares ou indicadores bibliomtricos (Krzyzanowski & Ferreira, 1998; Yamamoto,
Koller et al., 1999).
Essas estratgias muitas vezes se confundem, no havendo uma distino ntida
entre mtodos quantitativos e qualitativos, avaliao de forma e de contedo. Por
exemplo, o Fator de Impacto (ndice bibliomtrico) pode ser considerado um modo
objetivo para aferir a qualidade da revista no seu aspecto relevncia cientfica. J a
avaliao de contedo, embora esteja centrada na qualidade do artigos publicados, no
exclui a da forma, na maioria das vezes.
Algumas tentativas vm sendo empreendidas para desenvolver um sistema
eficiente de avaliao de peridicos que contemple tanto os aspectos formais quanto os

61

de contedo, incorporando tambm os ndices de citao para uma apreciao mais

completa e realista.
Um importante trabalho desenvolvido nesse sentido o de Krzyzanowski e
Ferreira (1998), o qual prope a avaliao conjunta de mrito (contedo) e desempenho
(forma) de peridicos cientficos e tcnicos para subsidiar os programas de apoio a
publicaes cientficas. Tal sistema visa detectar aspectos tcnicos que necessitam de
ajustes e permite ter uma viso global da qualidade das publicaes. Alm disso, esse
modelo pretende alertar os editores e instru-los para que intensifiquem os controles de
qualidade de suas revistas, desempenhando, tambm, um papel pedaggico.

a) Critrios de avaliao da forma

Para avaliao da forma, so incorporados critrios que procuram refletir
aspectos de qualidade que esto relacionados aos parmetros objetivamente
mensurveis. Por essa razo, a avaliao do texto do artigo no considerada.
Os tpicos em anlise compreendem desde aspectos relativos normalizao e
padronizao,

at

aspectos

denominados

critrios

editoriais:

periodicidade,

distribuio, gesto editorial, endogenia de autoria, etc. (Souza & Paula, 2002). Para
avaliao desses critrios, em geral, so apreciados os trs ltimos fascculos das
revistas cientficas.
A avaliao da normalizao leva em conta a padronizao do fascculo como
um todo, das referncias bibliogrficas e se a revista est de acordo com as normas por
ela declaradas. Nesse quesito, pontuada a presena de itens como legenda
bibliogrfica, ficha catalogrfica, ISSN, endereo completo da sede do peridico, as
normas de publicao (indicao do formato de apresentao dos manuscritos para
submisso), a descrio da linha editorial, sumrio bilnge (em algumas reas

62

requerido o sumrio e resumos trilnges), identificao dos autores (afiliao

institucional, endereo para correspondncia), resumos e descritores e datas de
tramitao (recebimento do manuscrito, aprovao e publicao) (Yamamoto et al.,
2002).
Se a revista segue tais convenes editoriais, otimiza a recuperao dos artigos
originais e garante o cumprimento das funes memria e disseminao do
conhecimento, prprias dos peridicos cientficos. Alm disso, ttulos dos artigos,
resumos e palavras-chave em ingls, so essenciais para alcanar o maior pblico
possvel.
A durao do peridico (tempo de publicao), a regularidade (divulgao
atualizada, sem atraso) e a proposta de periodicidade indicam a seriedade e
credibilidade da revista. A durao indica sobrevivncia e visa sanar um dos grandes
problemas da literatura peridica: muitos tm interesse em editar uma revista, mas
poucos conseguem levar a tarefa a cabo, o que pode resultar na doena dos trs
nmeros: o desaparecimento prematuro de peridicos recm-criados (Braga &
Oberhofer, 1982). Por outro lado, quanto mais regular e freqente a periodicidade,
melhor a capacidade de disseminao. A habilidade de publicar pontualmente uma
revista implica um estoque de manuscritos indispensvel para a sua viabilidade
ininterrupta.
A difuso e suas diversas formas de distribuio tambm so consideradas
aspectos de qualidade. Uma grande tiragem reflete uma difuso maior (o que nem
sempre verdade, uma vez que pode ser editado um grande volume de fascculos que
ficam estocados, sem serem distribudos); a existncia de colees completas em
bibliotecas reflete o reconhecimento, pelos usurios e bibliotecrios, da qualidade do
peridico; o fornecimento de separatas indica a capacidade de circulao dirigida.

63

A abrangncia de autoria tambm considerada um indicador de qualidade j

que a capacidade de atrair ampla colaborao reflexo positivo do prestgio do
peridico. A publicao de artigos de autores filiados a instituies estrangeiras ou
distribuio de autoria por vrias unidades da federao indica a notoriedade do
peridico entre a comunidade cientfica e prope evitar a endogenia de autoria.
Junto com a anlise de autoria, sempre empreendida a avaliao da diviso de
contedo. Algumas dificuldades so encontradas para o estabelecimento de pontuao
nessa varivel, uma vez que nem sempre o tipo de artigo est explcito no peridico
(Krzyzanowski & Ferreira, 1998). A presena de diferentes tipos de publicaes (relatos
de pesquisa, artigos de reviso, ensaios, relatos de experincia, resenhas bibliogrficas
ou notas tcnicas) valorizada por algumas reas que objetivam a diversidade de
informao. Entretanto, na grande maioria das avaliaes aquilatada a predominncia
de artigos cientficos (relatos de pesquisa), o que diferencia os peridicos cientficos dos
tcnicos.
Por fim, um ltimo critrio levado em considerao para avaliao da forma e
desempenho dos peridicos a presena e qualificao da gesto editorial. A existncia
de comisso executiva (grupo que examine as questes administrativas e polticas da
revista), editor responsvel e conselho editorial com reconhecida contribuio na rea
so aprovados pelas avaliaes. Alm desses aspectos, avaliado o sistema de
arbitragem adotado pela revista, que deve estar descrito detalhadamente para informar
aos autores sobre o processo editorial ao qual seu manuscrito ser submetido. A
aplicao da reviso por pares (peer review), se for duplo-cega, outro indicador do
padro de qualidade de uma revista, j que evidencia a menor ocorrncia de vieses.
No caso das revistas eletrnicas, alguns desses itens precisam de alteraes
para as devidas adequaes. Muitos dos aspectos avaliados em revistas impressas

64

permanecem importantes, como qualidade do corpo editorial e dos autores,

normalizao e sistema de arbitragem. Outros, como periodicidade e regularidade,
circulao e distribuio, precisam ser revistos (Testa, 1998). Como as revistas
eletrnicas podem ser publicadas em duas formas bsicas (como fascculos tradicionais
ou a cada artigo aprovado), o conceito de periodicidade transformado e uma
alternativa a observao da regularidade no que diz respeito freqncia com que so
disponibilizados os artigos.
A avaliao da forma, com sua proposta de levar em considerao apenas
critrios objetivamente mensurveis, pode resultar em limitao da avaliao e
deturpao dos resultados. Uma vez que o peridico em avaliao alcance a pontuao
referente a aspectos da forma e apresentao do contedo, pode ser definido como de
alto nvel, mesmo que o contedo publicado no tenha passado por nenhuma garantia
de qualidade.
O que muitos crticos a essa forma de avaliao salientam que o desempenho
formal dos peridicos essencial para que ele seja acatado pelo meio cientfico, mas
que essa avaliao, por si s, no deve ser o nico parmetro de qualidade. Assim, a
necessidade de uma apreciao do contedo indispensvel.
J os adeptos dessa modalidade de avaliao de peridicos ressaltam que, antes
de ser publicado, os artigos devem ter passado por um processo de reviso por pares,
empreendido por cada editor das revistas. Ou seja, se o contedo j foi publicado,
sinal de que tem sua importncia e qualidade conferidas, dispensando a necessidade de
uma nova avaliao de contedo.
b) Critrios de avaliao de qualidade
A qualidade do contedo de um peridico indica o seu mrito, ou seja, o grau
de importncia que esse veculo apresenta para a comunidade cientfica. possvel

65

realizar essa avaliao por meio de duas estratgias: a indicao por pares e a anlise de
indicadores bibliomtricos.
A estratgia de anlise de contedo por pares feita a partir do envio de
material para especialistas na rea em questo que emitem opinio a respeito do mrito
do peridico. A avaliao de trabalhos cientficos realizada por consultores, os quais
so, em tese, pesquisadores experientes, baseia-se no pressuposto de que dado o
treinamento, o conhecimento especializado e a experincia com a atividade de pesquisa
e publicao, tais especialistas so considerados os mais capacitados para julgar, para
distinguir entre o material adequado e necessrio daquele inconsistente e precrio
(Freitas, 1998).
O grupo que avalia a qualidade dos peridicos pode seguir algum roteiro para
apreciao, que, em geral, ao final, solicita a indicao da relevncia da revista: se esta
pode ser considerada prioritria, importante ou no relevante para o meio cientfico. De
acordo com Ferreira e Krzyzanowski (2003), para definio desse grau de importncia
de cada ttulo, devem ser levados em considerao alguns aspectos, contudo a qualidade
dos artigos o item que merece maior ateno e que tem maior peso na avaliao geral
do peridico. So apreciados o nvel cientfico dos trabalhos, atualidade da informao,
identificao com a orientao temtica da revista, percentual de artigos originais e
relatos de pesquisa. Tambm avaliada a qualidade do corpo editorial e dos
consultores, com valorizao se h participao de membros da comunidade nacional e
estrangeira. A natureza do rgo publicador tambm levada em considerao e os
peridicos devem ser editados, de preferncia, por instituio de ensino, pesquisa e
sociedade cientfica.
A abrangncia um aspecto essencial para aferir a qualidade do peridico
cientfico, geralmente classificada em institucional, regional, nacional ou internacional e

66

corresponde origem dos trabalhos e ao alcance da revista, indicando abertura do

peridico para a diversidade de autoria e a amplitude da divulgao do veculo. Nesse
quesito, levada em conta a indexao em bases de dados que reflete a difuso indireta
da revista e faz com que o peridico receba um reconhecimento positivo por parte de
avaliadores e comunidade cientfica de maneira geral.
A abrangncia geogrfica dos conselhos editoriais e cientficos e a consulta a
avaliadores externos (consultores ad hoc) tambm contam ponto positivo por indicar
que a revista tem representatividade nacional (ou internacional) e que no se trata de
uma produo domstica (Yamamoto et al., 2002).
Por fim, solicitado que se faa uma apreciao geral da revista em
comparao com outras da mesma rea, que sejam dirigidas ao mesmo pblico. Nesse
caso, a tradio, regularidade e importncia relativa na rea so os pontos principais
levados em considerao.
A avaliao de peridicos cientficos por meio da indicao de especialistas
deve ser um julgamento desinteressado, competente e independente, embora sempre
apresente distores e falhas (Freitas, 1998). Algumas dessas dificuldades so a
parcialidade dos avaliadores causada por razes no tcnicas, o grande volume de
ttulos que leva ao no conhecimento de todos os veculos em avaliao, alm da
demanda por tempo e custo considerveis para a manuteno de um sistema organizado
de avaliao por pares.
A adoo dessa estratgia para avaliao de peridicos est perpassada por
questes polmicas. Enquanto alguns estudiosos valorizam e ressaltam a necessidade da
opinio dos pares, por serem o meio mais adequado de apreciar a qualidade do contedo
dos veculos (Krzyzanowski & Ferreira, 1998), outros destacam os problemas
envolvidos nesse tipo de avaliao por ser impraticvel a iseno de fatores subjetivos e,

67

portanto, a indicao dos especialistas no deve ser levada em conta para no

influenciar os resultados da avaliao (Paula, 2002).
Como alternativa para avaliao do contedo dos peridicos que no seja a
opinio direta de pesquisadores, uma tendncia atual a considerao de ndices
bibliomtricos para indicao de qualidade de trabalhos cientficos e de peridicos.
A bibliometria estuda os aspectos quantitativos da produo, disseminao e
uso da informao registrada (Macias-Chapula, 1998, p. 135), ou seja, desenvolve
modelos matemticos para medir esses processos e gera dados estatsticos para elaborar
previses e apoiar tomada de decises. Trata-se de uma ferramenta que permite
observar o estado da cincia e da tecnologia por meio da produo da literatura
cientfica e, desta forma, subsidiar as polticas de fomento a pesquisas.
So vrios os indicadores utilizados para realizar tal anlise, mas o Fator de
Impacto o mais utilizado para avaliar e classificar revistas cientficas. Este ndice
calculado levando-se em conta o nmero total de citaes que recebe os artigos
publicados em uma revista em um determinado perodo de tempo em relao ao nmero
de artigos publicados nessa revista em um perodo anterior.
A base de todo esse clculo est na prtica da citao, atualmente uma
ferramenta bastante valorizada no meio acadmico/cientfico. A citao considerada o
meio mais comum de atribuir crditos e reconhecimento na cincia e sua importncia se
intensificou nas ltimas dcadas com o surgimento dos ndices de citao comerciais. O
pressuposto que o nmero de vezes que uma revista citada pode ser tomado como
medida de sua influncia na pesquisa da respectiva rea, pode ser parmetro que indica
o impacto dessa publicao na comunidade cientfica a que dirigida. Atualmente, o ISI
o nico ndice internacional de citao em cincia. Este indicador dos peridicos

68

cientficos indexados ao ISI vem sendo publicado pelo Journal Citation Reports (JCR),
(Pinto & Andrade, 1999).
Quando adequadamente utilizados e interpretados, os ndices bibliomtricos
so teis para medir a difuso das publicaes. Entretanto, embora tenham alguma
relao com a qualidade, no devem ser usados como nico critrio para avali-la.
Torna-se mais prudente interpretar tais parmetros como indicadores descritivos que
ajudam a conhecer melhor e comparar revistas analisadas.
importante destacar a distino entre os termos: qualidade se refere ao
contedo cientfico da publicao, adequao do mtodo, clareza da redao,
originalidade do tema entre outros fatores. Impacto, por sua vez, diz respeito
influncia de um artigo/revista cientfica sobre as pesquisas em um determinado
momento (Silva & Bianchi, 2001). Em outras palavras, o nmero de citaes que uma
revista recebe depende, em algum grau, de sua qualidade, mas tambm de outras
variveis como modismos, publicao de artigos polmicos, convite a autores muito
citados, recomendaes para que os autores citem artigos publicados na mesma revista,
entre outros.
No so poucos os estudos que debatem as vantagens e limitaes do uso do
Fator de Impacto e outros indicadores bibliomtricos (Buela-Casal, 2001; Buela-Casal,
Carretero-Dios & Santos-Roig, 2002; Elkis, 1999; Mello, 1996; Pinto & Andrade, 1999;
Seglen, 1997; Silva & Bianchi, 2001). Se, por um lado, ressaltada a utilidade do Fator
de Impacto por se tratar de uma avaliao quantitativa, objetiva, da qualidade de uma
produo cientfica, por outro, necessrio chamar a ateno para os cuidados na
aplicao desse ndice para que no extrapole seu escopo.
Um dos aspectos a se considerar o nmero de revistas por rea do
conhecimento: nas disciplinas com maior nmero de peridicos cientficos, os artigos

69

tm probabilidade maior de serem citados. Alm disso, algumas pesquisas tm carter

regional, mas nem por isso so menos importantes para o grupo ao qual se referem. Um
outro ponto importante que existem artigos que so muito citados por apresentarem
erros conceituais ou de interpretao, sendo contestados cientificamente.
No se pode esquecer que as citaes contabilizadas para clculo do Fator de
Impacto so derivadas exclusivamente do banco de dados fornecido pelo ISI e que,
portanto, existe um jogo comercial envolvido que dissemina a falsa impresso de que o
que relevante em cincia est restrito s revistas de alto Fator de Impacto do ISI.
Um outro ponto essencial a ser includo no debate a idia de que a citao no
retrata fielmente o que acontece na realidade. Segundo Guedes (2004), esta forma de
quantificar trabalha apenas com uma das unidades que deveriam ser consideradas, pois
o que citado no exatamente a revista, mas um artigo, de certo assunto, de um ou
mais autores, que pode ser encontrado em determinada revista (p. 252). Em outras
palavras, o que, de fato, consultado, lido e citado, so os artigos publicados e no a
revista como um todo. Seria, ento, inadequado, atribuir os ndices de impacto aos
veculos em vez de creditar ao contedo dos veculos. Contudo, apenas em casos
extremos de poucos artigos serem citados muitas vezes resultaria em distores, que so
corrigidas pela prpria frmula do Fator de Impacto. Alm disso, este clculo pode ser
acompanhado de meno a quantidade de artigos citados e a quantidade total de
citaes.
Existem outras circunstncias que podem comprometer os ndices apresentados
pelo Fator de Impacto do ISI, como por exemplo, no levar em conta o que citado nos
livros (principalmente no caso das Cincias Humanas e Sociais), no diferenciar as
auto-citaes, ponderar de forma distinta as citaes que so feitas em outros artigos
publicados no mesmo peridico e desconsiderar as citaes feitas em casos de

70

contestao, em que o trabalho referido utilizado como suporte para crtica ou

fundamento do que est sendo discutido.
Tais crticas fazem com que, embora tenha grande potencial de aplicabilidade,
fornea elementos para tomada de decises e auxilie na orientao de polticas de
publicao, os indicadores bibliomtricos no devem ser tomados como critrio nico
para avaliao de peridicos cientficos. Em conjunto com outras formas de anlise
constituem importante estratgia para apreciao da qualidade do que publicado.

3.1.3. Servios/instituies que realizam classificaes de peridicos cientficos

As avaliaes de peridicos cientficos so realizadas por diversas instituies,
com diferentes propsitos. As finalidades variam desde a seleo de ttulos para
incorporao a uma base de dados, financiamentos, qualificao da produo para
avaliao de pesquisadores, instituies e programas, at composio de colees de
bibliotecas e so feitas por agncias de financiamento, indexadores, bibliotecas e
instituies de regulao de pesquisas.
No Brasil, as principais agncias de fomento a publicaes cientficas so o
CNPq, em mbito nacional, e agncias estaduais de fomento, com destaque para a
FAPESP10. Tais agncias realizam classificao de revistas cientficas para subsidiar os
programas de apoio a publicaes no momento de escolha do destino dos recursos.

10

Alm da FAPESP, outras seis Fundaes de Amparo a Pesquisa estaduais, entre as 16 existentes,
dispem de linhas de fomento a peridicos cientficos, quais sejam: FAPERJ (Fundao Carlos Chagas
Filho de Amparo a Pesquisa do Estado do Rio de Janeiro), FAPEMAT (Fundao de Amparo a Pesquisa
do Estado do Mato Grosso), FAP/SE (Fundao de Amparo a Pesquisa do Estado do Sergipe),
FUNDECT (Fundao de Apoio ao Desenvolvimento do Ensino, Cincia e Tecnologia do Estado do
Mato Grosso do Sul), Fundao Araucria (Paran), e FAPEMIG (Fundao de Amparo a Pesquisa do
Estado de Minas Gerais).

71

O programa de apoio a publicaes cientficas (Programa Editorial) do CNPq11,

uma das principais instituies governamentais de fomento, tem por finalidade investir
em peridicos cientficos brasileiros em todas as reas do conhecimento a fim de
contribuir para a qualidade, forma e contedo das revistas nacionais dedicadas a cincia
e tecnologia. Para receber o referido financiamento, as revistas interessadas passam por
um processo de seleo em quatro etapas: anlise pela rea tcnica do CNPq, anlise do
Grupo de Assessoramento Editorial (GAE), anlise do Comit Editorial (COE) e
aprovao pela Diretoria Executiva (DEX)12.
So feitas avaliaes quanto adequao ao edital (participam da seleo as
revistas que publicam mais de 50% de relatos de pesquisa, publicam no mnimo cinco
artigos por fascculo e pelo menos dois fascculos por ano, entre outras exigncias),
quanto ao perfil tcnico, oramentrio e normativo (considerando a autonomia tcnicocientfico e administrativa, a qualidade da poltica editorial e a apresentao grfica dos
peridicos) e quanto ao mrito tcnico-cientfico das propostas ( feita uma avaliao
comparativa dos peridicos da mesma rea de conhecimento para estabelecer
prioridades de atendimento). Por fim, as propostas recomendadas e classificadas so
apreciadas pela DEX para aprovao final.
Outra instncia que realiza avaliaes de peridicos so os indexadores, que
elaboram um processo de seleo criterioso para incorporar novos ttulos em suas bases
de dados.
Destaca-se aqui o processo de avaliao de peridicos do ISI, que se tornou a
referncia mais difundida e de grande aceitao na comunidade internacional e que tem

11

Na dcada de 1980, a FINEP (Financiadora de Estudos e Projetos) iniciou o Programa Setorial de

Publicaes em Cincia e Tecnologia, desenvolvendo um importante papel no apoio a essas publicaes.
Posteriormente, foi criado o programa editorial da FINEP em articulao com o CNPq que logo depois
ficou somente sob a responsabilidade deste ltimo (Valerio, 1994).
12
Informaes obtidas no site www.cnpq.br em 14 de outubro de 2004.

72

como funo oferecer uma cobertura abrangente da mais importante e influente

pesquisa realizada em todo mundo (Testa, 1998, p. 233). O pressuposto que embasa tal
avaliao de que, alm de ser economicamente invivel disponibilizar toda a produo
existente, tambm desnecessrio incluir todos os peridicos cientficos que so
publicados13. Para identificar e avaliar essas revistas, que esto em constante mudana,
feita a seleo de novos ttulos e excluso daqueles no mais teis.
A avaliao e seleo dos ttulos acontecem continuamente, a cada duas
semanas, quando so analisadas cerca de duas mil revistas, das quais apenas 10 a 12%
so selecionadas. Cada revista submetida a um processo amplo de avaliao por
editores, e, s vezes assessores, com grande experincia e instruo em cincia da
informao. So levados em considerao aspectos qualitativos e quantitativos,
combinando e inter-relacionando os dados e nunca os tomando isoladamente.
Para esta base de dados, os principais aspectos avaliados so a periodicidade
regular, a adoo de convenes editoriais internacionais, a aplicao do processo de
reviso por pares e a representao geogrfica da revista. Tambm avaliado o
contedo da publicao, que indica se o novo ttulo ir enriquecer a base de dados ou se
j est contemplado em outras revistas. Por fim, feita a anlise dos dados de citao,
tentando articular com as informaes anteriores14.
Tambm visando compor um conjunto bsico de peridicos cientficos, so
desenvolvidas avaliaes para seleo e delimitao dos veculos que sero
incorporados coleo das bibliotecas.

13

Segundo a Lei de Bradford, princpio freqentemente citado na literatura cientfica, h um ncleo

essencial de revistas que forma a base da literatura para todas as disciplinas. De acordo com dados do
prprio ISI, apenas duas mil revistas so responsveis por 85% dos artigos publicados e 95% dos artigos
citados em todo o mundo (Testa, 1998).
14
Para maiores informaes sobre o processo de avaliao de revistas do ISI, conferir no site:
http://www.isinet.com

73

Com a exploso bibliogrfica, a multiplicidade de suportes e as limitaes

oramentrias, torna-se necessria a implantao de mecanismos de controle que
auxiliem os bibliotecrios na composio do acervo de forma a promover a integrao
das fontes eletrnicas s colees e servios, alterando o paradigma centrado no
armazenamento para aquele centrado no acesso.
Os bibliotecrios necessitam de um planejamento global da coleo e a
avaliao dos ttulos oferece parmetros para dar consistncia, qualidade e equilbrio ao
acervo. A anlise das revistas cientficas serve de instrumento para tomada de decises
na alocao e aplicao dos recursos oramentrios e para manuteno e atualizao das
colees bibliogrficas, em funo das necessidades de racionalizao e otimizao dos
recursos financeiros, humanos e de equipamentos disponveis.
Para uma ideal composio de coleo, fundamental que o processo de
seleo esteja em consonncia com os objetivos da instituio e atenda s expectativas e
demandas dos usurios (Gurgel & Maia, 2003). Para tanto, necessrio delinear um
perfil compatvel com o carter e abrangncia estabelecidos pelas suas atividades de
ensino e pesquisa, alm de expressar a relao do desenvolvimento de colees com o
papel da biblioteca na instituio.
importante destacar o modelo da biblioteca SciELO, cuja coleo consiste
em publicaes eletrnicas na Internet. O diferencial em volta da SciELO o seu
criterioso sistema de composio da coleo. Um dos objetivos dessa rede o
fornecimento de informaes de qualidade para a comunidade cientfica e, para tanto,
avalia constantemente novos ttulos para incorporao na coleo e aqueles j
disponibilizados no portal para permanncia ou descarte.
Os critrios para admisso de peridicos na coleo so rgidos e compreendem
estar incluso em ndices internacionais (como ISI, Medline e PsycINFO), ter obtido

74

bons resultados na avaliao de peridicos da FAPESP e ser classificado pelo programa

de apoio a publicaes cientficas do CNPq. Ademais, so avaliados o carter cientfico
(predominncia de contribuies originais resultantes de pesquisa cientfica), a adoo
da arbitragem por pares, a composio qualificada do conselho editorial (especialistas
reconhecidos na rea, de circulao internacional), periodicidade, pontualidade, durao
(so considerados os peridicos com pelo menos quatro nmeros publicados), a
publicao de alguns elementos no idioma ingls (resumo, palavras-chave e ttulo),
normalizao e afiliao de autores15.
As avaliaes de peridicos tambm so utilizadas para complementar a
qualificao de pesquisadores e instituies. Uma grande dificuldade que existe no
Brasil para se estabelecer estratgias de poltica cientfica a falta de bases de dados
que permitam perceber a produo cientfica em um contexto amplo, o impacto dessa
produo local e internacionalmente e a dinmica de informaes. Assim, as avaliaes
e acompanhamentos se apresentam como instrumentos para obteno de informaes
teis em termos de sociologia da cincia no Brasil que possibilitem, entre outras aes,
o estabelecimento de polticas de gesto cientfica.
Alm desse fator (a crescente demanda por informaes qualitativas como
substrato para decises polticas), existem outros que tm gerado presses por
avaliaes mais freqentes e mais difundidas da produo cientfica brasileira, tais
como a crescente competitividade na rea cientfica e tecnolgica e as restries de
recursos.
Os peridicos se destacam no conjunto da produo cientfica como critrio
fundamental da avaliao em cincia e tecnologia. A produo difundida, comunicada
aos pares por meio da literatura cientfica, tem sido considerada a expresso por
15

Para maiores informaes sobre critrios de avaliao da biblioteca SciELO, consultar:

http://www.scielo.br/criteria

75

excelncia do trabalho cientfico e, portanto, um dos principais indicadores (se no, o

principal), com os quais se deve trabalhar e avaliar.
No Brasil, a Coordenao de Aperfeioamento de Pessoal de Nvel Superior
(CAPES) iniciou a avaliao de peridicos cientficos de todas as reas por meio da
classificao Qualis em 1998, como subsdio para as avaliaes dos programas de psgraduao, que comearam em 1976 (Paula, 2002).
Em linhas gerais, a Qualis compreende uma qualificao da produo cientfica
dos docentes e discentes que subsidia a avaliao conduzida pela CAPES dos programas
de ps-graduao credenciados pela instituio e alimentada a partir dos relatrios
enviados pelos referidos programas. Cada rea da CAPES elege uma comisso
responsvel pela arbitragem dos peridicos correspondentes, aqueles citados na
produo cientfica dos docentes e discentes dos programas de ps-graduao, que
elabora os critrios de avaliao levando em conta as caractersticas prprias das reas
em questo. Os peridicos, ento, so classificados quanto ao mbito de circulao
(local, nacional e internacional) e quanto ao conceito (A, B e C)16.
As estratgias de avaliao variam para cada rea e a cada ano, quando as
Comisses revem critrios e incorporam novos ttulos para serem avaliados, mudam a
classificao dos peridicos da avaliao anterior, caracterizando um sistema dinmico
e adequado a cada realidade.
Decorridos alguns anos desde o primeiro processo empreendido pelas
Comisses, percebe-se que os veculos brasileiros de comunicao cientfica adentraram
uma nova fase, com incremento na qualidade e com potencial para fazer parte do plano
internacional de publicaes. E tudo isso devido, em grande parte, a esse sistema de
avaliao nacional (Paula, 2002).
16

Para mais informaes sobre a classificao Qualis, consultar: http://www.capes.gov.br.

76

Alm disso, o propsito inicial da Qualis, de subsidiar a avaliao da psgraduao brasileira foi extrapolado e hoje, a classificao obtida pelos veculos, surte
um efeito significativo na comunidade cientfica. Tanto editores buscam elevar o padro
de qualidade considerado pelas avaliaes a fim de manter financiamentos, quanto
autores/pesquisadores levam em conta tal avaliao no momento de escolha por um
ttulo para submisso de seu trabalho. E, por conseguinte, os leitores/consumidores da
produo cientfica tambm atentam para os rankings ao atribuir certa credibilidade aos
trabalhos publicados em determinados peridicos.
Tais avaliaes provocaram significativas mudanas na Psicologia brasileira,
assim como em algumas outras reas. Os resultados das avaliaes de peridicos
passaram a ser considerados em diversos contextos, suscitando questionamentos em
torno do modelo de avaliao utilizado.
Esta avaliao de peridicos abordada na seo seguinte.

3.2. A avaliao de peridicos de Psicologia para a base Qualis: um modelo em

construo
A preocupao com a qualidade das publicaes cientficas de Psicologia
anterior s avaliaes de peridicos que se tem atualmente. Em 1996, a Sociedade
Brasileira de Psicologia (SBP) props um encontro de editores cientficos durante a
reunio anual da sociedade a fim de facilitar o fortalecimento de nossas publicaes
(Guedes, Zannon & Luna, 1996, p. 1).
O encontro foi considerado uma oportunidade para tratar dos problemas que
envolvem os peridicos da rea, problemas muitas vezes decorrentes dos novos papis
adotados, que transformam pesquisadores em autores, pareceristas, editores,
conselheiros cientficos, entre outros. poca, os principais aspectos apontados pelos

77

editores para compor a programao do evento foram a necessidade de aumentar o nvel

de profissionalismo, a precariedade da difuso e circulao das revistas que
comprometem a visibilidade, a adoo de revistas temticas ou no, a falta de qualidade
e grande quantidade dos manuscritos encaminhados para publicao, a dificuldade de
manuteno (a mdio e longo prazo) das publicaes brasileiras e o baixo consumo de
revistas cientficas pelos alunos, pesquisadores e profissionais (Guedes, Zannon &
Luna, 1996, p. 1).
Tais problemas so observados e levados em considerao quando as revistas
passam por avaliaes que objetivam distinguir aquelas consideradas apropriadas para
divulgao de conhecimento qualificado de outras com menor prestgio acadmico
devido falta de cuidados editoriais. Ao buscar financiamentos, indexaes em bases de
dados internacionais e incluso em bibliotecas de alto nvel, os peridicos cientficos de
Psicologia so julgados quanto a sua qualidade acadmica e cientfica.
Entre as diversas avaliaes pelas quais passam as revistas (CNPq e FAPs para
financiamento, SciELO e outras bibliotecas, indexadores em geral), a avaliao
empreendida para a base Qualis que tem gerado grande repercusso na comunidade de
Psicologia. Esta iniciativa representa um movimento de busca pela melhoria das
publicaes cientficas, coordenado pela CAPES, que surgiu, inicialmente, como
complemento das avaliaes dos programas de ps-graduao.
O objetivo primordial de tal avaliao de revistas fornecer informaes para
qualificao da produo cientfica docente dos programas de ps-graduao. Os dados
sobre produo cientfica no so os nicos levados em conta no processo de anlise dos
programas, embora sejam considerados o item com maior peso nas decises sobre a
avaliao (Macedo & Menandro, 1998).

78

A qualificao dessa produo bastante controversa, uma vez que h uma

grande diversidade de veculos nos quais ela expressa. Dentre o conjunto de
publicaes considerado na avaliao da produo dos programas de ps-graduao, h
um incentivo produo publicada em artigos de peridicos por ser a modalidade mais
arbitrada dentre todas (trabalhos apresentados em congressos, livros e dissertaes e
teses).
Entretanto, o impacto dessa avaliao excedeu tal finalidade (de servir de base
para qualificao da produo dos programas de ps-graduao credenciados pela
CAPES) e hoje ela considerada parmetro para os envolvidos com publicao
cientfica, muitas vezes no s no pas. Os resultados da referida avaliao tm servido
como subsdio para a concesso de financiamentos, para a incluso dos ttulos em
bibliotecas e indexadores, para orientar pesquisadores e leitores no momento de escolha
de ttulos para submisso de seus trabalhos ou pesquisar material bibliogrfico de
relevncia, entre outras circunstncias.
fato que, aps esta classificao de revistas de Psicologia realizada pela
Comisso CAPES/ANPEPP, o quadro editorial da rea passou por grandes
transformaes, que sero discutidas adiante.

3.2.1. Configuraes iniciais da base de dados Qualis

Diante da preocupao em construir um modelo de avaliao preciso de sua
produo cientfica que melhor refletisse a qualidade das vrias publicaes e da
necessidade de hierarquizar os peridicos cientficos para alimentar a base Qualis, a
rea de Psicologia empreendeu a primeira avaliao de peridicos em 1998 (referente ao
binio 1996-1997), tornando-se uma das reas mais avanadas. De l at agora, foram
realizados mais quatro processos: em 2000, referente ao perodo 1998-1999; em 2002,

79

para o ano de 2001; uma atualizao no ano de 2004, para o binio 2002-2003; e a
ltima avaliao em 2005, para os ttulos publicados em 200417.
Os objetivos da avaliao de peridicos em Psicologia se situam em trs
pontos:
a) qualificar os veculos cientficos nos quais publicam
os pesquisadores vinculados aos programas de ps-graduao
em Psicologia no Brasil; b) criar mecanismos para viabilizar a
manuteno dos peridicos com melhor avaliao; c)
estabelecer parmetros para o incremento da qualidade dos
peridicos da rea (Yamamoto et al, 1999, p. 5-6).
Para atender ao primeiro desses objetivos, foi constituda uma comisso
editorial intitulada Comisso para Avaliao de Revistas Cientficas em Psicologia,
formada por quatro membros da comisso de avaliao dos programas de psgraduao da CAPES, pelo coordenador e vice-coordenador da rea de Psicologia na
CAPES e por trs pesquisadores com experincia em editorao escolhidos por votao
pelos programas afiliados a ANPEPP (a lista com a composio de todas as comisses
apresentada no anexo 1). Pela composio, tal comisso comumente intitulada
Comisso CAPES/ANPEPP.
A referida comisso produziu um instrumento objetivo, baseado em normas e
critrios tcnicos apropriados, visando valorizar e disseminar as publicaes cientficas
nacionais e fornecer resultados da forma mais precisa da produo cientfica da rea. A
Ficha de Avaliao (pode ser conferida no anexo 2) foi elaborada com base no modelo
proposto por Krzyzanowski e Ferreira (1998): apresenta uma escala total composta por
cinco tpicos gerais (normalizao, publicao, circulao, autoria e contedo e gesto
editorial) que classificam a revista quanto qualidade (conceitos A, B e C) e uma subescala composta por cinco itens extrados da escala geral (indexao, distribuio,

17

Para maiores informaes sobre a avaliao de revistas cientficas da Comisso CAPES/ANPEPP,

conferir no site www.anpepp.org.br, no cone Avaliao de Revistas.

80

disponibilidade em bibliotecas, autoria nacional e abrangncia geogrfica do Conselho

Editorial) para classificao quanto ao mbito (nacional ou local) (Yamamoto et al.,
1999).
importante ressaltar que a distino quanto ao mbito no representa, por si
s, um indicativo absoluto de qualidade. Alm disso, o instrumento procura no
enviesar contra revistas que tenham por objetivo atingir uma comunidade especfica,
uma vez que permite que peridicos classificados como Local tenham um
desempenho superior aos peridicos Nacionais nas escala de qualidade.
Para a construo do instrumento foi levada em conta a articulao entre a
necessidade de avaliar os programas de ps-graduao e o interesse em promover a
qualificao dos veculos. Assim, a ficha de avaliao foi elaborada buscando a
adequao com a realidade e o momento da publicao cientfica no Brasil.
Na primeira avaliao, foram avaliados os ttulos de Psicologia publicados no
Brasil, desconsiderando assim os peridicos de reas conexas ou publicados no exterior,
mesmo se citados nos relatrios. Para estes casos, a Comisso sugeriu acatar as
avaliaes feitas pelas outras reas para o primeiro caso e consultar bases de dados
internacionalmente reconhecidas para o segundo.
Como procedimento, aps a constituio da Comisso de Avaliao, foi
elaborado o instrumento e feita uma avaliao preliminar, em que pares de avaliadores
da equipe examinaram os fascculos publicados no perodo determinado (1996-1997). O
item referente presena dos peridicos nas bibliotecas foi eliminado pela falta de
atualizao das informaes junto ao Catlogo Coletivo Nacional do IBICT. Ao final,
foram estabelecidos os pontos de corte: de um total possvel de 28 pontos, o corte para
calcular o mbito foi 13 pontos (acima disso, foi considerado peridico nacional). Para a
escala de qualidade (Escala Total), as revistas nacionais obtiveram pontuao entre 37 e

81

86 pontos, de um total que poderia chegar a 93 escores e os pontos de corte para

classificar revistas com conceito A foi acima de 65 pontos, conceito B acima de 51
pontos e conceito C abaixo desse valor. J as revistas locais alcanaram uma variao
de 9 a 52 pontos, de 65 pontos possveis e os pontos de corte foram estabelecidos em
acima de 40 pontos para classificar revistas locais A, acima de 28 pontos para revistas
locais B e abaixo desse nmero para as Local C.
Os escores atribudos pelos pares foram reunidos compondo os resultados
preliminares e apresentados ao Conselho Deliberativo da ANPEPP. Nesta ocasio,
houve aprovao e coleta de sugestes sobre os procedimentos e critrios de avaliao
adotados pela Comisso. A Ficha de Avaliao e os procedimentos foram aprovados na
ntegra com contribuies para os prximos processos.
Esses resultados foram encaminhados aos editores para inform-los sobre a
avaliao e solicitar possveis pedidos de reconsiderao. Apenas dois editores
sugeriram modificaes nas pontuaes dos peridicos que editavam e outros
congratularam a Comisso e fizeram sugestes para outras avaliaes. A partir dessas
consideraes, foram elaborados e encaminhados relatrios finais para cada peridico.
Conforme mostra a Tabela 1, a quantidade de ttulos de peridicos avaliados
pela Comisso desde a primeira avaliao saltou significativamente de 47 (no perodo
1996-1997) para 70 (em 2004).

82

Tabela 1
Resultados das avaliaes da Comisso CAPES/ANPEPP para a base
Qualis.
CLASSIFICAO 1996-1997
Internacional

Nacional

19
98-2000

20
01

2002-2003

2004

15

14

19

25

15

19

10

14

10

12

21

47

50

55

78

55*

Local

TOTAL

* Das 94 revistas relatadas pelos programas de ps-graduao, 16 no foram

avaliadas porque estavam em atraso.
** Das 72 revistas avaliadas pela Comisso, 10 solicitaram reavaliao, 4
estavam em atraso e 1 foi interrompida.

Os primeiros resultados revelaram uma condio precria: do total de

peridicos avaliados, 70% foram considerados como de mbito local, sendo que destes,
36% tiveram conceito C. O fato de que mais de dois teros dos peridicos da rea
tinham mbito restrito de circulao e que apenas quatro ttulos foram avaliados como
de mbito nacional e qualidade A, comprovou as hipteses iniciais de que as
publicaes peridicas de Psicologia no Brasil apresentavam baixo nvel de qualidade
(Yamamoto, Koller et al., 1999).
Por outro lado, o ranking apresentado mobilizou editores e resultou em
expressiva melhoria dos peridicos em diversos quesitos, conforme constatado na
segunda avaliao, cujos frutos j so indiscutivelmente perceptveis no que tange ao
incremento da qualidade das publicaes peridicas brasileiras (Hutz, 2000, p. 471).

83

Vale salientar que o primeiro trabalho enfatizava o carter educativo, mais preocupado
com o incremento da qualidade das publicaes do que o simples estabelecimento de
parmetros.
Tambm importante destacar que, at ento, os editores no tinham
orientaes referentes a publicaes de peridicos cientficos de qualidade, j que eles,
em sua maioria (se no, na totalidade) so profissionais da rea de Psicologia e no de
Cincias da Informao. Esta avaliao foi considerada de carter provisrio, tendo em
vista uma segunda avaliao, com os peridicos j preparados para passar por outro
exame.
Esta primeira verso da avaliao foi bastante divulgada em eventos
cientficos, diretamente aos editores, por meio de textos e pginas na Internet. Foi bem
recebida pela maior parte da comunidade cientfica, que apesar de perceber falhas e
limitaes, se mostrou interessada na iniciativa til e necessria.
O prprio processo de avaliao passou, por sua vez, por uma avaliao de
especialistas independentes, no vinculados a ANPEPP, da rea de Biblioteconomia e
Cincias da Informao. Baseada na idia de que sempre possvel aperfeioar e
aprimorar esse tipo de atividade (Hutz, 2000), a Comisso consultou quatro
especialistas e solicitou que fosse feita uma avaliao da avaliao. A partir dos
feedbacks obtidos, algumas alteraes foram feitas na sistemtica adotada e em 2000,
uma atualizao da primeira avaliao foi conduzida.
Desta vez, os peridicos analisados foram os relatados pelo programas em
relao avaliao trienal do perodo 1998-2000, totalizando 50 ttulos. A manuteno
do mesmo instrumento da primeira avaliao para a segunda aconteceu visando evitar
que os peridicos que se esforaram para se adequar aos padres definidos no fossem

84

prejudicados e tambm de forma a permitir uma melhor visualizao da melhoria

ocorrida nas revistas.
Uma importante mudana feita nessa segunda verso da avaliao diz respeito
incluso de um novo procedimento, a auto-avaliao por parte dos editores. Eles
receberam a Ficha de Avaliao e um manual de instrues para auxiliar o
preenchimento da ficha (as instrues serviram para padronizar os critrios, evitando a
probabilidade de pedidos de reconsiderao). A iniciativa tambm visava aproveitar o
conhecimento que os editores tm dos peridicos que editam e imprimir um carter
educativo avaliao, fazendo com que cada um analisasse o seu veculo com cuidado
(Yamamoto et al., 2002).
A avaliao, comparando as fichas preenchidas remetidas pelos editores e os
exemplares dos peridicos em anlise, aconteceu na biblioteca do Instituto de Psicologia
da Universidade de So Paulo. Um problema, j existente na primeira edio e
persistente na segunda, foi a dificuldade de aferio dos exemplares nas bibliotecas
nacionais. Pela impreciso das informaes, o item foi excludo novamente.
Os resultados surpreenderam e j se pde constatar uma melhoria expressiva
dos peridicos em vrios itens da pontuao, principalmente no que diz respeito
circulao (o nmero de revistas nacionais subiu de 14 para 24) e qualificao (25 delas
tiveram seu status incrementado), como pode-se observar na Figura 1:

85

50

Quantidade de revistas

40

30
A
B
C

20

10

0
1996-1997 1998-1999

2001

2002-2003

2004

Perodo de avaliao

Figura 1.
Evoluo das revistas de Psicologia na base Qualis (segundo o conceito de qualidade).
Os dados apontam que houve uma melhoria expressiva no quadro editorial da
Psicologia brasileira entre as duas primeiras avaliaes: 25 revistas incrementaram sua
posio no ranking e apenas cinco, tiveram-na rebaixada. Entretanto, mais da metade
das revistas referidas pelos docentes de ps-graduao ainda foram consideradas de
mbito local (52%).
As avaliaes surtiram alguns efeitos no quadro editorial, comprovados no s
pelos dados que os resultados apontam. Alguns indicadores dessa melhoria so os
depoimentos de bibliotecrios, interesse crescente dos editores por eventos da rea de
Cincias da Informao e incluso das revistas em bases de dados internacionais.
Em uma nova avaliao da avaliao, feita pela prpria Comisso, foram
destacados alguns aspectos positivos e desafios a serem enfrentados na prxima etapa.
A transparncia do processo (devido indicao de editores eleitos pela ANPEPP para

86

composio da Comisso de Avaliao), a metodologia especfica empregada (com

instrumentos consagrados na rea de Biblioteconomia) e a comunicao com os editores
(tanto para a auto-avaliao quanto na comunicao dos resultados e abertura para
pedidos de reconsiderao) foram os pontos positivos salientados. Quanto aos desafios,
foram citados a necessidade de reviso de pesos e critrios (a fim de elevar o nvel de
qualidade), a introduo de padres mnimos de exigncia por conjunto de itens (sem
isso, so atendidas mudanas de aspectos menos onerosos para as revistas), a
viabilidade de anlise do contedo das publicaes (por meio de informaes, de carter
opinativo, obtidas diretamente dos pesquisadores da rea) (Yamamoto et al., 2002).
Dando continuidade ao sistema de qualificao de peridicos cientficos de
Psicologia, em 2002 foi conduzida mais uma iniciativa da Comisso CAPES/ANPEPP,
avaliando dessa vez os peridicos publicados no ano de 2001 (55 ttulos) e com
significativas alteraes na sistemtica de pontuao. Permaneceram os cinco blocos de
itens, mas alguns critrios foram alterados e pesos foram revistos. O conjunto referente
normalizao era composto por 12 elementos que totalizavam 20 pontos possveis.
Nesta avaliao, ficaram apenas sete critrios que somam, no mximo, 12 pontos. O
bloco de publicao manteve os mesmos critrios, mudando a pontuao mxima
possvel de 20 para 16. Quanto circulao, a difuso eletrnica foi includa e os
pontos foram alterados de 14 para 12. O conjunto de itens referente a autoria e
contedo foi o mais alterado: incluiu mais trs elementos a serem avaliados (autoria
interinstitucional, indexao em bases de dados e quantidade de artigos por fascculo) e
a pontuao mxima passou de 20 para 40 pontos.
Para classificao dos peridicos foram consideradas as pontuaes mnimas
apenas nos conjuntos de itens circulao, autoria e contedo, gesto editorial e total
de pontos (que inclui esses trs blocos de pontos mais normalizao e publicao).

87

Alm disso, foram determinados valores para cada um dos itens que estabeleceram as
classificaes (mbito e qualidade).
Outra alterao foi a criao da categoria mbito Internacional, resultante de
um acordo da grande rea de Humanas. Os critrios utilizados foram a manuteno da
classificao nacional A por trs avaliaes consecutivas e presena em indexadores
internacionais importantes, como o PsycINFO.
O relatrio de divulgao dos resultados aponta que trs das revistas avaliadas
foram classificadas como tal (conforme apontado na Figura 2). Outro dado interessante
o salto para 62,9% de peridicos classificados como nacional (mais que o dobro do
percentual obtido na primeira avaliao) e, desses, 41,1% foram avaliados com conceito
A.
50

Quantidade de revistas

40

30

Internacional
Nacional
Local

20

10

0
1996-1997 1998-1999

2001

2002-2003

2004

Perodo avaliado

Figura 2.
Evoluo das revistas de Psicologia na base Qualis (classificao mbito).

Ao contrrio dos outros dois processos de avaliao, a divulgao destes

resultados no foi to ampla (as duas primeiras verses foram divulgadas por meio de

88

artigos em publicaes de grande visibilidade e foram encaminhados relatrios

individuais a cada um dos editores) e s aconteceu um ano depois, em 2003, por meio
do site da ANPEPP.
No ano de 2004, foi feito mais um processo de avaliao, que no foi
considerada uma quarta verso porque o trabalho da Comisso envolveu avaliao de
peridicos que ainda no haviam sido avaliados e reavaliao de alguns peridicos,
caracterizando uma atualizao da avaliao anterior. Foi esta atualizao que foi
utilizada para a avaliao da produo de artigos cientficos dos Programas de PsGraduao no trinio 2001-2003. Foram includos apenas peridicos mencionados nos
relatrios anuais dos 44 programas de ps-graduao em funcionamento na rea e que
so reconhecidos pela CAPES.
Alm de serem aplicados os mesmos critrios adotados na avaliao anterior,
nenhum peridico teve sua classificao rebaixada, uma vez que o objetivo dessa
atualizao se restringiu ao reconhecimento do esforo dos editores em cumprir os
critrios de avaliaes anteriores. Os peridicos classificados como Nacional A ou
Internacional A no participaram desse processo e foi mantida a classificao anterior.
Outros peridicos no foram reavaliados pelos fascculos estarem atrasados (Comisso
Conjunta CAPES/ANPEPP, 2004).
A reunio para execuo da atualizao foi realizada na biblioteca do IPUSP,
como nas verses anteriores, pelo fato dela reunir todos os peridicos listados no Index
Psi Peridicos. O procedimento de auto-avaliao por parte dos editores no foi feito
novamente por falta de tempo da Comisso, que precisava cumprir os prazos
estipulados pela CAPES.

89

Dessa vez, o nmero total de ttulos citados nos relatrios dos programas de
ps-graduao foi 94, mas 16 ttulos estavam em atraso e no foram avaliados (e como
no tinham sido avaliados nas outras edies, ficaram sem classificao).
Dos 78 peridicos avaliados, 40% (31 revistas) foram classificados como
locais, 56% (44 revistas) como nacionais e 4% so os internacionais. Quanto aos
conceitos de qualidade, 37% foram classificadas como A, 12% como B e 51% como
C. O grande percentual de revistas avaliadas com conceito C deve-se, em parte, ao
grande nmero de revistas que ainda no tinham sido avaliadas, e, portanto, no
estavam dentro dos padres exigidos pelo instrumento: das 22 revistas que ainda no
tinham sido avaliadas, 15 foram classificadas com conceito C (Comisso Conjunta
CAPES/ANPEPP, 2004).
A divulgao desse quarto processo de avaliao foi precria, disponvel
apenas no site da ANPEPP, e somente o ranking final, sem os pontos alcanados por
cada peridico em cada um dos itens, como nas verses anteriores.
O ltimo procedimento de avaliao empreendido pela Comisso teve incio
em julho de 2005, quando foi remetida correspondncia aos editores informando sobre o
processo e solicitando a auto-avaliao e o envio dos fascculos para serem analisados
pelos membros da Comisso, e apresentou o relatrio final em setembro do mesmo ano.
A discusso sobre as revistas em avaliao aconteceu novamente na biblioteca do
IPUSP e contou com a colaborao de um bibliotecrio para a classificao inicial dos
peridicos.
Para essa avaliao, a Comisso considerou algumas crticas e sugestes que
foram apresentadas pelos editores no Frum de Discusso sobre Publicaes Cientficas
realizado em 2004 durante o X Simpsio de Pesquisa e Intercmbio Cientfico
promovido pela ANPEPP. Dois aspectos foram revistos para essa avaliao: a

90

classificao das revistas publicadas no Brasil como de mbito Internacional foi retirada
at que sejam feitos novos estudos que possibilitem essa qualificao e foi revisto o
item relativo autoria, que passou a usar o critrio de diversidade institucional em
substituio ao critrio de diversidade geogrfica. Foram mantidos, alm disso, os
mesmos critrios utilizados na atualizao relativa ao ano de 2003 (realizada em 2004).
Para a classificao dos peridicos foram consideradas as pontuaes mnimas
de trs blocos de critrios circulao, autoria e gesto editorial e o total de pontos. A
classificao em mbito (Nacional ou Local) e em qualidade (A,B,C) foi assegurada
pelo cumprimento, simultneo, de cada um desses itens.
O resultado final da ltima avaliao permite o delineamento de um quadro
geral das publicaes da rea desde o primeiro processo de classificao das revistas.
Percebe-se que a quantidade de ttulos classificados como Nacional A sempre esteve
crescente, o que confirma o carter pedaggico e o alcance do objetivo dessa avaliao
de qualificar os peridicos que passam pelos processos. O nmero de revistas avaliadas
como nacional B se manteve pequeno, ainda que constante. E os peridicos com
conceito Nacional C variaram desde ento, com menor nmero nas primeiras avaliaes
e em maior quantidade nos trs ltimos processos. Quanto a isso, pensa-se que possa ser
decorrente do aumento na quantidade de ttulos avaliados a cada procedimento e estes
novatos, em geral, no esto adequados aos critrios exigidos como aqueles que j
passam pela avaliao em sua terceira ou quarta vez.
Quanto aos peridicos cientficos de Psicologia avaliados como Local A, estes
se mantiveram em pequeno nmero e sem grandes variaes. Pode-se identificar esses
veculos como voltados para uma comunidade restrita, mas que primam pela qualidade,
da no ser uma categoria preocupante. J a quantidade de ttulos classificados como
Local B e C tem diminudo drasticamente quando se compara os resultados da primeira

91

avaliao com a ltima, o que atenua a preocupao da comunidade cientfica em

relao qualidade das revistas cientficas da rea.
Encerrado mais esse processo, a Comisso iniciou uma nova etapa da avaliao
de peridicos de Psicologia. Atendendo s solicitaes dos editores, foi constituda uma
sub-comisso composta por trs professores para uma discusso sobre alteraes no
modelo atual de avaliao, incluindo critrios, pesos e pontos de corte. Este grupo
dever trabalhar em conjunto com editores e com demais interessados da comunidade
cientfica18.
Tambm foi dado incio, em 2005, mas ainda sem concluso, aos estudos
acerca da avaliao de peridicos estrangeiros que publicam material de professores e
pesquisadores de Psicologia do Brasil. Para empreender esse levantamento, foi
solicitado que os autores enviassem alguns dados dos peridicos estrangeiros nos quais
publicaram em 2004 para ser completada a lista das revistas estrangeiras utilizadas pela
rea. Essas informaes so necessrias, uma vez que h uma grande diversidade de
ttulos e a Comisso j est de posse de uma relao de 440 ttulos, publicados em 24
pases.

3.2.2. Repercusses da Qualis para a comunidade cientfica de Psicologia

Diante de tais dados, evidente a contribuio dessas avaliaes para a
qualificao dos peridicos em questo: o processo de avaliao conduzido pela
Comisso CAPES/ANPEPP promoveu um salto qualitativo considervel no mbito da
publicao cientfica em Psicologia. Assim, segundo Yamamoto e colaboradores
(1999), um dos objetivos das avaliaes de desencadear um movimento entre os

18

Uma proposta preliminar foi apresentada pela Comisso de Avaliao no XI Simpsio de Pesquisa e
Intercmbio Cientfico promovido pela ANPEPP em maio de 2006, na cidade de Florianpolis (SC).

92

editores para um aperfeioamento das publicaes brasileiras da Psicologia (p. 11),

pode ser considerado atingido.
Em um espectro mais amplo, pode-se afirmar, hoje, que a avaliao de
peridicos se constitui em um processo fundamental para a produo de conhecimento
em Psicologia. No s presta servios para integrao de dados na base Qualis, como
tambm auxilia os editores a melhorarem a qualidade de suas revistas e orienta a
comunidade acadmica/cientfica sobre as normas de padronizao de publicaes.
Nesse ponto, os referidos editores parecem ter entendido a importncia da avaliao e
esto adequando suas publicaes aos critrios adotados. Com isso, promove a
concorrncia para a obteno de recursos para a publicao, assim como a indexao
das revistas em bases de dados e, conseqentemente, maior reconhecimento entre a
comunidade.
A avaliao feita pelos bibliotecrios, a pedido da Comisso, a respeito da
sistemtica de avaliao, entre o segundo e terceiro processos, apontou alguns aspectos
positivos, como a transparncia do processo (j que houve participao de editores no
grupo avaliador, indicados pela ANPEPP), a aplicabilidade da metodologia empregada
(devido reviso do instrumento realizada por especialistas) e a aproximao da
Comisso de Avaliao com os editores (por meio do procedimento de auto-avaliao
adotado).
Ainda nessa avaliao da segunda verso, foram indicados alguns desafios a
serem enfrentados numa nova empreitada: estabelecimento de padres mnimos de
exigncia e utilizao de critrios mais rgidos; considerao do aspecto contedo na
avaliao, como proposto por Krzyzanowski e Ferreira (1998); ampliao de ttulos a
serem avaliados, como peridicos de outras reas ou publicados fora do Brasil; e
tratamento de peridicos disponibilizados eletronicamente (Yamamoto et al., 2002).

93

Dessas sugestes, a nica adotada at a ltima avaliao (em 2005) foi quanto
avaliao de peridicos eletrnicos, que j passaram a compor a lista de ttulos
avaliados desde 2001.
A partir das avaliaes para a base Qualis, o quadro atual se apresenta
promissor, o que pode ser percebido no apenas pelos resultados e rankings das
avaliaes. Outros indicadores so maior conhecimento das revistas por parte da
comunidade cientfica, depoimentos de bibliotecrios envolvidos com os peridicos
cientficos de Psicologia e, principalmente, o nmero de ttulos que esto sendo
encaminhados pela biblioteca do Instituto de Psicologia da USP para indexao na base
de dados LILACS (Sampaio & Sabadini, 2002). Vale ressaltar que, at ento, os
editores no se interessavam ou desconheciam a necessidade de indexar os ttulos para
garantir maior divulgao e acesso.
Alm desses efeitos, a avaliao de peridicos cientficos de Psicologia tem
mobilizado editores e interessados pela atividade em geral a participar de eventos
voltados para editorao cientfica (como as reunies bi-anuais da ABEC Associao
Brasileira de Editores Cientficos), promover Fruns de Discusso (como o realizado no
X e XI Simpsio de Pesquisa e Intercmbio Cientfico da ANPEPP) e compartilhar
experincias (como durante o I Encontro de Editores de Revistas Cientficas da rea de
Psicologia, realizado em agosto de 2004 e em maro de 2006 em So Paulo). Isso
reflete uma maior preocupao com a qualidade dos peridicos cientficos da rea e o
acompanhamento de tendncias da publicao cientfica (Serradas, 2004).
Se por um lado, pode-se observar tais impactos positivos e mobilizao da
comunidade

cientfica

decorrentes

das

avaliaes

realizadas

pela

Comisso

CAPES/ANPEPP, por outro, existem crticas quanto aos critrios adotados nas
avaliaes. Um dos pontos que promovem esta discusso situa-se no fato de que o

94

aprimoramento dos peridicos tornou obsoletos alguns dos critrios utilizados nas
avaliaes, havendo necessidade de revis-los para uma prxima etapa de avaliao
(Menandro, 2002). Se antes no havia parmetros de qualidade para que os editores
buscassem alcan-los, hoje o nvel das publicaes foi elevado, o que demanda o
estabelecimento de novos critrios e padres de exigncias.
A prpria Comisso reconhece que o sistema apresenta falhas e limitaes, que
necessrio rever alguns critrios e procedimentos, o que maciamente apontado
pelos editores. No raro, quando se comenta sobre essa avaliao, surgirem
comentrios crticos proposta, que seja enfatizada a necessidade de aprimoramento do
instrumento para a conduo de resultados que retratem adequadamente o quadro
editorial de Psicologia (Yamamoto & LoBianco, 2004). Conquanto o esforo da
Comisso, pioneiro e uma providncia til e necessria, uma vez que promoveu o
aprimoramento dos peridicos da rea, a avaliao passvel de questionamentos,
reformulaes e atualizaes.
Essa discordncia no se restringe aos editores de Psicologia e aos membros da
Comisso, mas envolve tambm a comunidade cientfica em geral: o tema tem
promovido grandes debates e repercusses acerca dos caminhos pelos quais a editorao
cientfica em Psicologia tem seguido.
Essa polmica, entre a defesa da avaliao tal qual est sendo conduzida e a
urgncia na reviso dos critrios, reforada, sobretudo, em decorrncia da ausncia de
consenso sobre a alternativa mais adequada de desenvolver tais avaliaes. No h
consonncia estabelecida nessa esfera e muitas tentativas tm sido feitas na direo do
estabelecimento de critrios e metodologias de avaliao que satisfaam a todos os
envolvidos. No se pode esquecer que se trata de uma avaliao e, como todo processo

95

de avaliao, implica escolha e estabelecimento de alguns critrios em detrimento de

outros, o que pode ocasionar desacordo quanto queles adotados.
Tal diversidade de opinies a respeito da adequao desse sistema de avaliao
de peridicos no est restrita Psicologia. Em geral, nas cincias sociais e humanas, a
avaliao de revistas cientficas complexa, os fundamentos das avaliaes so
delicados e muitas vezes, rebatidos pelas respectivas comunidades acadmicas. A
ausncia de indicadores objetivos da qualidade dos veculos de publicao torna o
processo ainda mais arriscado e contestado. Quanto a essa questo, por exemplo,
Jeannin (2002) contesta a adoo de ndices produzidos por instncias estrangeiras,
reforando a idia de que as grandes bases de dados internacionais so defeituosas por
privilegiar as grandes revistas de lngua inglesa e que somente os pases ricos esto bem
representados e, portanto, elas no refletem bem as atividades de pesquisa de outros
pases. Uma vez que tais indicadores, como aqueles utilizados e fornecidos pelo ISI so
estreis, h de se construir um processo de avaliao de revistas condizentes com cada
realidade nacional.
fato que a comunidade cientfica est adotando e utilizando os resultados das
avaliaes, alterando os padres de produo de conhecimento em Psicologia que
existiam: os editores esto fazendo uso de estratgias a fim de elevar a qualidade dos
peridicos que editam segundo os parmetros estabelecidos por essa avaliao, os
pesquisadores consultam o ranking estabelecido para escolher o peridico para o qual
iro submeter seus trabalhos, confiando os resultados, muitas vezes, de anos de pesquisa
para aqueles que conquistaram bons conceitos e os consultores passaram a selecionar os
ttulos para os quais iro colaborar e emitir pareceres qualificados. Alm disso, os
leitores (pesquisadores, docentes, alunos e profissionais) levam em conta os resultados

96

apontados pelas avaliaes ao optar por uma revista cientfica ao fazer suas pesquisas e
estudos.
nesse ponto que se detecta um efeito negativo dos resultados das avaliaes:
aquelas revistas bem qualificadas vo sendo procuradas pelos pesquisadores mais
experientes, so as escolhidas pelas agncias de financiamento e so incorporadas pelas
bases de dados. J para os ttulos que no se saem bem na classificao, as
oportunidades so, cada vez mais restritas, o que resulta na potencializao das revistas
bem avaliadas e na retrao daquelas que mais precisam de apoio e estmulo.
preciso encontrar alternativas, urgentemente, para enfrentar tal situao, a
fim de no punir exageradamente os peridicos com conceito B ou C (que muitas vezes
so obtidos por questes alheias ao trabalho do editor como falta de recursos
financeiros, infra-estrutura, etc.) e valorizar, acentuadamente, revistas com conceito A
(que podem adaptar seus padres unicamente para satisfao dos critrios das
avaliaes e no para elevar o nvel de qualidade da produo cientfica). A simples
adoo desse sistema de avaliao, questionvel, pode significar uso de escores
distorcidos, provocando um grande vis nos rankings estabelecidos.
Uma vez discutida a problemtica da pesquisa, sero apresentadas as
informaes para proceder meta-anlise sobre a classificao Qualis na rea de
Psicologia, buscando articular idias do referencial terico para desvelar os conceitos
atribudos pelos respondentes da pesquisa, suas crticas e sugestes e, tambm, os
paradoxos e contradies embutidos nesse processo de avaliao.

97

Parte II
Elementos para discusso: os dados de pesquisa

98

4. Materiais e mtodo
4.1. Consulta aos editores cientficos
Participantes
Editores de peridicos cientficos que participaram da avaliao de peridicos
para a base Qualis da CAPES realizada em 2004, o que totaliza 94 participantes. A
amostra final correspondeu a 38 respondentes, representando uma taxa de devoluo de
40% (Apndice A).

Instrumento
Um questionrio eletrnico contendo dados gerais de identificao (nome do
editor, peridico cientfico que edita e instituio ao qual o peridico est vinculado) e
quatro questes abertas, a primeira delas subdividida em quatro quesitos (Apndice C).
Vale salientar que, exceo da ltima questo, eram admitidas mltiplas respostas.

Procedimento
O questionrio foi elaborado e submetido a um teste-piloto com trs
respondentes, que sugeriram alteraes ao instrumento que foram incorporadas. A
segunda verso do questionrio foi a enviada aos editores.
Os endereos eletrnicos dos participantes foram coletados a partir do site da
Biblioteca Virtual de Sade Psicologia. Aqueles que no estavam disponveis no
portal foram pesquisados nos sites das instituies dos peridicos e nos currculos
Lattes dos editores.

99

Foi enviada uma mensagem de solicitao para participao na pesquisa a cada

um dos editores, com o questionrio anexado. A solicitao foi enviada por correio
eletrnico (e-mail) no dia 22 de maro de 2005 e nos dias 25 de abril, 06 de junho e 19
de julho (todos do ano de 2005) foram enviados nova mensagem e questionrio
anexado. No dia 29 de julho de 2005 foi enviado o questionrio por correio para os
editores que ainda no haviam respondido a pesquisa, com possibilidade de ser
devolvido por correio, fax ou e-mail. No dia 30 de agosto de 2005 foi encerrado o
perodo para recebimento dos questionrios respondidos.
Cada um dos questionrios emitidos pelos editores foi impresso e recebeu uma
numerao especfica para identificao.

4.2. Entrevista com bibliotecrios

Participantes
Profissionais da rea de Cincias da Informao e Biblioteconomia com
experincia em avaliao de peridicos e conhecimento sobre os peridicos de
Psicologia:
-

Andr Serradas, bibliotecrio responsvel pela BVS-Psi, portal de servios de

acesso literatura tcnica e cientfica relevante para o desenvolvimento da Psicologia na

Amrica Latina e Caribe;
-

Aparecida Anglica Z. Paulovic Sabadini, bibliotecria responsvel pelo Sistema

de Biblioteca e Documentao do Instituto de Psicologia da USP, considerado um

centro de referncia para a Amrica Latina na rea de Psicologia, uma vez que conta
com um acervo expressivo e dispe da mais completa coleo de peridicos nacionais e
internacionais existentes no pas;

100

Fabiana Ramos Montanari, secretria executiva do Comit Consultivo SciELO

Brasil, instncia responsvel por propor a incluso e excluso de peridicos cientficos

na coleo SciELO, fazer modificaes dos critrios de avaliao para a admisso e a
permanncia de ttulos e apresentar indicadores de desempenho dos peridicos da
coleo SciELO Brasil;
-

Maria Ceclia Gonzaga Ferreira, consultora para avaliao de peridicos

cientficos do CNPq, BIREME e FAPESP, atualmente bibliotecria assessora do

Programa Biblioteca Eletrnica ProBE/FAPESP;
-

Regina Clia Figueiredo Castro, coordenadora de Comunicao Cientfica em

Sade da BIREME,

centro especializado da OPAS (Organizao Pan-Americana de Sade),

estabelecido no Brasil desde 1967 que objetiva

responder s demandas de informao

cientfico-tcnica em sade dos governos, dos sistemas de sade, das instituies de

ensino e investigao, dos profissionais de sade e do pblico em geral.

Instrumento
Cada entrevista seguiu roteiro pr-estabelecido prprio (Apndice D).
Continham de cinco a dez perguntas, abertas, sobre peridicos cientficos e avaliao de
revistas, alm de questes relativas ao trabalho desenvolvido por cada um dos
entrevistados.

Procedimento
Os bibliotecrios foram primeiramente contatados por e-mail e entrevistados
pessoalmente. As entrevistas aconteceram nos dias 31 de maio e 01 e 02 de junho de
2004 em So Paulo. O contedo foi gravado e transcrito na ntegra.

101

4.3. Consulta aos membros das Comisses CAPES/ANPEPP

Participantes
Membros da Comisso CAPES/ANPEPP que participaram mais de uma vez
das verses da avaliao Qualis (1998, 2000, 2001, 2004 e 2005) e que responderam ao
questionrio:
-

Anna Carolina LoBianco (Universidade Federal do Rio de Janeiro),

Cludio Simon Hutz (Universidade Federal do Rio Grande do Sul),

Marco Aurlio Mximo Prado (Universidade Federal de Minas Gerais),

Maria do Carmo Guedes (Pontifcia Universidade Catlica de So Paulo),

Maria Juracy Filgueiras Toneli (Universidade Federal de Santa Catarina),

Paulo Rogrio Meira Menandro (Universidade Federal do Esprito Santo),

Slvia Helena Koller (Universidade Federal do Rio Grande do Sul).

Instrumento
Foi enviado um questionrio eletrnico, composto por trs questes abertas, a
primeira delas subdividida em quatro quesitos (Apndice E). Ainda havia a indicao
para a possibilidade de no restrio s perguntas formuladas.

Procedimento
Os membros da Comisso foram contatados por correio eletrnico (e-mail) no
ms de agosto de 2005. Dois deles (Silvia H. Koller e Maria do Carmo Guedes) foram
entrevistados pessoalmente (entrevistas gravadas e transcritas na ntegra) e os demais
foram consultados apenas por e-mail.

102

4.4. Anlise dos dados

Inicialmente, as respostas dos questionrios respondidos pelos editores foram
agrupadas de acordo com cada pergunta do instrumento. Em seguida, foram elaboradas
categorias de acordo com a recorrncia temtica das respostas. O mesmo se repetiu para
as entrevistas transcritas dos bibliotecrios e os questionrios respondidos pelos
membros da Comisso.
O passo seguinte foi a articulao entre as categorias elaboradas para cada tipo
de respondentes, identificando quais se repetiam e quais eram exclusivas de
determinado grupo (editores, bibliotecrios e Comisso de Avaliao), a fim de
estabelecer categorias temticas comuns aos trs respondentes. A discusso dos
resultados foi feita de acordo com trs temas gerais que abrigam sub-temas. So eles:
a)

Apreciao sobre o processo de avaliao Qualis, que inclui uma discusso

particular sobre a Comisso de Avaliao de Peridicos Cientficos de Psicologia;

b)

Anlise sobre critrios de avaliao, que composta pelos sub-temas

Instrumento de avaliao, Avaliao de aspectos formais e de contedo e
Posicionamentos sobre critrios especficos da avaliao Qualis;

c)

Efeitos das avaliaes e mudanas percebidas no quadro editorial, cujos subtemas so a melhoria das revistas; o estabelecimento de parmetros; o aumento do
hiato

entre

as

revistas

avaliadas;

interao

com

comunidade

acadmica/cientfica.
O material coletado (respostas dos questionrios dos editores e membros da
Comisso e entrevistas com bibliotecrios transcritas), ento, foi agrupado em um

103

quadro sinttico, que apontava o tipo de respondente (editor, bibliotecrio, comisso) e

a categoria temtica a que se referiam as respostas.
Como, em geral, as perguntas elaboradas aos editores e aos membros da
Comisso CAPES/ANPEPP admitiam mltiplas respostas, o percentual de algumas
tabelas foi estabelecido em funo do nmero de respondentes e como a contabilizao
no exclua a participao de um respondente em mais de uma categoria de resposta, a
soma final no totaliza 100%.
Tomou-se como ponto de partida para as discusses, o material respondido
pelos editores, ou seja, a partir do posicionamento destes atores que se situam as
perspectivas dos bibliotecrios e da Comisso de Avaliao.
Para ilustrar os resultados encontrados, foram utilizados trechos do material
coletado que esto apresentados no texto entre aspas e sem identificao de a qual
respondente se refere, apenas com indicao se editor (com a identificao EdXX), se
bibliotecrio (com indicao BibXX) ou se participou como membro da Comisso de
Avaliao (cuja identificao ComXX).

104

5. A base de dados Qualis sob a perspectiva dos atores envolvidos

necessrio tecer algumas consideraes gerais sobre o material coletado antes
da discusso sobre o contedo dos elementos obtidos com os questionrios e entrevistas.
Um primeiro dado que se destaca o grande nmero de questionrios no
devolvidos. O instrumento foi enviado cinco vezes, por e-mail e por correio
convencional, com possibilidade de retorno por fax. Os editores das 94 revistas
submetidas avaliao de 2004 que constavam da listagem da CAPES foram solicitados
a participar da pesquisa. Entretanto, apenas 38 devolveram o questionrio respondido, o
que equivale a 40% do total. Assim, essa taxa de retorno no correspondente
totalidade dos que foram consultados pode indicar afastamento, desinteresse ou
desconhecimento dos editores contatados em relao temtica.
Alm da dificuldade em relao participao dos editores, foi constatado nos
questionrios um recorrente padro de questes no respondidas, de respostas do tipo
no sei ou prejudicadas (que no se referem ao questionamento feito). Isto se torna
mais evidente principalmente nas questes relativas avaliao da base Qualis
(questes 02, 03 e 04), o que leva, mais uma vez, a indicao de que no h uma devida
apropriao desta avaliao por parte de um dos principais atores envolvidos nesse
processo que so os editores.
Em uma primeira apreciao, foram encontradas respostas bastante
heterogneas, de naturezas distintas. A diversidade do tipo de informaes fornecidas
aparece tanto em relao opinio (umas com justificativas fundamentadas e
argumentos, outras no), quanto ao contedo, que variava segundo aspectos diferentes
de uma mesma questo.fdddffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff

105

Essa

diferena

se

deve,

principalmente,

aos

modos

diversos

de

contato/conhecimento que os respondentes tm, j que alguns j fizeram parte de

Comisses de Avaliao, outros so editores experientes e tambm h aqueles que esto
participando da realidade editorial recentemente. Essa disparidade provocou algumas
dificuldades para lidar com os dados obtidos, que foram contornadas pela estratgia
adotada para proceder anlise dos dados, a partir de categorias temticas.
No que diz respeito coleta feita junto aos bibliotecrios, aconteceu no
momento inicial (1 semestre) do curso de mestrado. A proposta era conhecer e se
instrumentalizar para a realizao da pesquisa, e no promover debate de idias, o que
seria interessante ter ocorrido ao final do curso.
Quanto ao levantamento realizado com os pesquisadores participantes das
Comisses de Avaliao, poderia ter sido mais bem aproveitada caso tivessem sido
feitas entrevistas com todos e no s o questionrio eletrnico. Entretanto, devido
distncia, a soluo vivel foi o intercmbio por correio eletrnico, restando o contato
pessoal direto apenas com dois membros, que foram situaes de muito aprendizado e
troca de informaes.
Considerando essas ressalvas, procede-se apresentao e anlise dos dados
pesquisados.

5.1. Apreciao sobre a adequao da avaliao Qualis

A avaliao geral que os respondentes fizeram sobre a classificao de
peridicos de Psicologia para a base Qualis encontra-se dividida entre algumas
categorias de respostas. Os editores foram o grupo que mais discordou, comparando-os
aos bibliotecrios e aos membros da Comisso. Conforme a Tabela 2, alguns

106

participantes da pesquisa foram absolutamente categricos, outros preferiram no

responder ou viram os dois lados da questo.
Tabela 2
Adequao da classificao de revistas de Psicologia pela base Qualis.
Editores Bibliotecrios Comisso

TOTAL

Sim

08

03

04

15

Parcialmente

12

02

02

16

No

10

01

11

Outros*

08

08

TOTAL

38

05

07

50

*Outros: no respondeu, resposta prejudicada ou no sabe.

No caso dos editores, foram dois tipos de respostas negativas ao
questionamento. Um deles afirmou que no apreendia a necessidade dessa avaliao:
Em primeiro lugar, discordo que haja necessidade de monitorao da produo. As
revistas j tm seu Conselho Editorial, seus consultores ad hoc, e uma comunidade
inteira acompanhando os resultados e a qualidade de cada revista. Essa histria de que
haja uma avaliao adicional s faz com que pequenos grupos assumam poderes
duvidosos e aumente uma burocracia centralizadora (Ed69).
Tendo em vista as crescentes exigncias de produo, a expectativa era de que
a necessidade de monitorao da produo cientfica, por meio da avaliao dos
veculos nos quais ela publicada, no fosse o foco de desacordo, mas a forma como
tais avaliaes acontecem, os modos de se proceder nas avaliaes dos peridicos
cientficos. Isso justifica o questionamento feito aos editores sobre como eles pensam
que deve funcionar essa classificao, quem deve participar, o que avaliar, como e
quando faz-la. Entretanto, se tal discordncia foi levantada, sinal de que no est
evidente para os envolvidos essa premissa, seja por considerar mesmo irrelevante, seja
por duvidar dos objetivos aos quais essas avaliaes se propem.

107

mesmo esperado que cada revista tenha seu prprio processo de arbitragem,
seguindo os padres recomendados internacionalmente. Todavia, valer-se somente do
processo interno de avaliao equipara as publicaes, deixando a cargo do leitor,
especialista ou no, julgar a qualidade do conhecimento divulgado.
Essa posio representa uma das tendncias atuais no campo da disseminao
do conhecimento, passando por sistemas de arquivo aberto (open archives), autoarquivamento ou de disponibilizao de pre-prints. As questes que esto no fundo
dessa discusso so, de um lado, o questionamento acerca da propriedade do
conhecimento; de outro, uma crtica ao carter conservador dos procedimentos usuais
empregados pela comunidade cientfica para o crivo da produo, nos moldes das
anlises de Kuhn (1962/2003).
Embora questionvel, se o argumento apresentado por Ed69 pode ser
interpretado como um alinhamento a essas posies, certamente a objeo de que as
avaliaes servem a finalidades especficas, como qualificar, comparativamente, a
produo de segmentos diversos da comunidade cientfica (como, por exemplo, dos
docentes vinculados aos sistemas de ps-graduao) para efeito de estabelecimento de
hierarquias, articulados ou no com fomento, fica sem resposta.
O outro tipo de resposta contrria avaliao, dessa vez mais recorrente,
argumenta que o processo tem caractersticas mais acadmicas do que cientficas. No
deixa de ser verdade que esta avaliao est diretamente relacionada aos padres
acadmicos de publicao, uma vez que compe as avaliaes dos programas de psgraduao. Mas h de se considerar que os resultados das avaliaes de peridicos
acabam por se refletir tambm na produo cientfica indiretamente, ou seja, a partir de
um conjunto de critrios que as revistas apresentam ou no, possvel estimar o status
cientfico do que publicado.

108

J entre os editores que valorizam a avaliao, ao menos parcialmente, a

principal queixa refere-se ausncia da apreciao qualitativa dos peridicos e do
contedo dos artigos, aspecto bastante recorrente em todos os pontos da meta-avaliao
feita pelos editores. Apesar de criticar essa limitao da avaliao, um dos editores
levanta a discusso: penso que no retrata o contedo dos textos. Nem sei se esta uma
atribuio da base Qualis (Ed40).
Como complemento, outros editores salientaram que qualquer tipo de avaliao
sempre arbitrrio, uma vez que est presente o fator subjetividade e partindo do
pressuposto de que nenhuma avaliao pode retratar adequadamente o material avaliado,
h sempre uma impostura da avaliao (Ed36). Chegou-se a afirmar que as falhas
podem ser decorrentes de questes pessoais intencionais como afinidades, afiliaes e
preferncias.
Tambm foi bastante presente nos questionrios dos editores a reclamao de
que o padro exigido distante da realidade brasileira. A adoo de medidas criadas
para outras reas do conhecimento e a desconsiderao das condies materiais foram
mencionadas, como pode ser percebido nesse trecho: esse padro no corresponde
realidade brasileira, ou seja, a publicao de peridicos no nosso pas (em geral sem
subsdio) no consegue acompanhar as exigncias, comprometendo a pontuao
(Ed44). O fato de a avaliao no considerar os recursos financeiros dos peridicos
cientficos uma incoerncia para muitos editores, j que so esses recursos que vo
possibilitar ou impedir o desenvolvimento pleno das revistas e, portanto, permitir que
sejam atendidos certos critrios exigidos.
Outros editores opinaram que a avaliao adequada dependendo da subrea
ou dependendo da revista. Aquelas que no tm tanto vnculo com a academia, mas que
desempenham um importante papel para a prtica profissional, seriam prejudicadas por

109

no atender aos critrios universitrios. J algumas reas da Psicologia, como Clnica,

da Sade ou Psicanlise, esto insatisfeitas com alguns critrios que afirmam serem
comprometedores dos resultados. Por isso, importante que o instrumento de avaliao
possa dar conta dos aspectos mais gerais das revistas, mas com espao para resguardar
as peculiaridades de cada rea.
Existem ainda os editores que apiam firmemente o sistema de avaliao e o
principal argumento utilizado que os conceitos so claros e objetivos. Alm disso,
como bem apontou um deles, precisamos comear por algum lugar (Ed55).
necessrio concordar com alguns respondentes de que se trata de um processo ainda em
aperfeioamento e que, portanto, necessrio tempo para se consagrar.
O segundo grupo de respondentes, os bibliotecrios, no foram to divergentes
e, em geral, corroboram esse ltimo posicionamento dos editores. A avaliao que os
entrevistados fazem em referncia ao processo de classificao de revistas cientficas de
Psicologia para a base Qualis muito positiva, sendo necessrios apenas alguns ajustes
a fim de retratar mais adequadamente o quadro que se prope a analisar. Essa posio
pode ser percebida pelos seguintes trechos das entrevistas: foi uma revoluo na rea
da Psicologia, essa avaliao vista com muito bons olhos(...) Ns sempre elogiamos a
iniciativa, a iniciativa da ANPPEP com a CAPES, a iniciativa da Comisso de fazer o
instrumento (Bib2). A entrevistada Bib4 confirma: E nas aulas, eu falo mesmo que a
Psicologia uma rea que tem de se orgulhar por ter um instrumento to bem elaborado,
pelos critrios de avaliao de revistas, assim, foi uma coisa muito boa para a rea da
Psicologia.
Todos esses profissionais de Biblioteconomia foram taxativos ao afirmar que
esta classificao promoveu melhorias substanciais nas revistas, que o instrumento
utilizado um dos mais bem elaborados entre as outras reas da Qualis e que

110

desempenhou um importante papel ao sinalizar para os editores a urgncia em aprimorar

os ttulos pelos quais so responsveis.
A terceira categoria de respondentes, os membros da Comisso de Avaliao,
respondeu em sintonia e apresentou, basicamente, o mesmo posicionamento: a maioria
dos pesquisadores foi categrica ao afirmar que a avaliao da Qualis atende, sim, aos
objetivos aos quais se prope, que de avaliao qualificada da produo do
pesquisador e consiste em uma ferramenta eficiente para autores e leitores, alm de
auxiliar editores a melhorarem seus trabalhos. Entretanto, assim como alguns editores
tambm apontaram, foi unnime que se trata de um processo que precisa atualizar-se
constantemente, que deve estar sempre em aperfeioamento para atender as novas
exigncias do quadro editorial, como exemplificado por Com5: visvel o impacto da
avaliao no sentido da melhoria da qualidade dos peridicos no que diz respeito aos
cuidados formais. No entanto, na ltima avaliao discutimos como os critrios
utilizados j no esto servindo para uma discriminao mais refinada entre os
peridicos.
Em outro lado, h aqueles membros que questionaram tanta eficincia da
avaliao Qualis e apontaram que existem alguns problemas graves que precisam ser
resolvidos urgentemente. Um dos pesquisadores salientou que a avaliao de peridicos
est muito centrada na avaliao do escoamento da produo e no da revista cientfica
em si. Isso apia o ponto de vista de outro participante da Comisso, de que a atual
avaliao pode at cumprir seu objetivo, mas que este deveria ser revisto
imprescindivelmente e que a idia no deve ser somente melhorar a qualidade formal
das revistas, mas monitorar efetivamente o contedo do que est sendo produzido e
publicado.

111

Alis, foi recorrente entre a Comisso de Avaliao que os interesses da

CAPES por um ranking de peridicos esto no fundamento dessa avaliao, o que pode
comprometer os resultados para a comunidade cientfica: Ela (a avaliao) no est
mais servindo rea de Psicologia, est servindo a CAPES (Com4). Assim, no se
deve perder de vista a finalidade maior da base Qualis, de qualificao da produo
docente: O objetivo principal da avaliao gerar informaes mais precisas para o
processo de avaliao da produo dos Programas de Ps-Graduao (...) No uma
avaliao direta da qualidade de cada artigo publicado, mas isso no seria factvel nas
condies em que se d a avaliao dos Programas (Com7)
Em outras palavras, o que deve ser lembrado e discutido a validade da
transposio dos resultados dessas avaliaes para outros contextos, que precisa ser
resguardada e feita com cautela, a fim de no distorcer o quadro real das revistas ou tirar
concluses indevidas a respeito do que as avaliaes indicam.
fato que os rankings estabelecidos pelas avaliaes tm gerado muita
repercusso no meio acadmico e tm sido levados em considerao em outras situaes
pela comunidade cientfica. Quanto a isso, alguns membros do grupo que fazem a
avaliao aprovaram que a classificao Qualis tem consistncia para esse uso diverso e
que essa prtica deveria ser estimulada. Um exemplo claro o que vem ocorrendo na
LILACS: a base de dados LILACS comea a usar a classificao CAPES/ANPEPP
para a indexao de seus peridicos, numa mostra de que os resultados da avaliao tm
um alcance que vai alm da classificao dos peridicos ao fornecer parmetros para os
veculos que acabam por influir na prpria transmisso do saber na rea (Com2).
Outros pesquisadores que fazem parte das avaliaes salientaram que, apesar
do uso que vem sendo feito dessas classificaes, preciso ter cuidado nessa adoo
dos resultados em outros contextos, em funo da defasagem das avaliaes, ocasionais

112

erros cometidos pela Comisso e dificuldades de correo pela falta de indicadores de

impacto, entre outros fatores. Contudo, ainda que o processo necessite de
reformulaes, esse aperfeioamento contribuir apenas para incrementar a atual
legitimidade dos resultados. A prpria Comisso est ciente dessas falhas e possveis
distores e tem empreendido alguns esforos para aprimorar os procedimentos. Como
exemplos desse esforo, tem-se a composio de uma subcomisso para atualizao do
instrumento e a tentativa de elaborao de um modelo para a avaliao dos peridicos
eletrnicos e dos internacionais.
Um dos membros da Comisso apresenta um ponto de vista contrrio a estes
dois (a adeso plena e a adeso com ressalvas) e afirma que, tal qual a avaliao da
Psicologia se configura hoje, no deveria ser utilizada em outras circunstncias que no
seja a solicitao da CAPES, j que o problema no est no instrumento em si, mas o
objetivo para o qual foi desenvolvido. O consultado Com4 afirma: Eu acho que a
gente, ao produzir um instrumento, se arrisca mesmo a que isso ocorra (...) O que ns
estamos falhando em deixar que ela seja usada assim. Rapidamente, ns temos que
fazer outro tipo de avaliao pra eliminar esse nus errado, de um instrumento que no
precisa ser usado erradamente (Com4).
Por outro lado, percebe-se como positivo o alcance que os resultados das
avaliaes obtiveram. A avaliao empreendida para efeito da base Qualis se tornou
parmetro para os envolvidos com publicao cientfica, que no conheciam critrios
para julgar a qualidade dos peridicos da rea. Os rankings fornecidos pelas Comisses
de Avaliao no s embasam a comunidade cientfica (principalmente autores e
leitores) no tocante a escolha de ttulos, como tambm apresenta subsdios para
indexadores e financiadores constatarem quais ttulos esto bem conceituados por essa
avaliao.

113

Essa idia foi confirmada por alguns editores, que ressaltaram a importncia de
a comunidade cientfica estar atenta para os propsitos da base Qualis, que so
direcionados pela CAPES para avaliar os programas de ps-graduao. Como afirmado,
considero que a avaliao Qualis da CAPES importante para que a prpria CAPES
possa avaliar os PPG e produo dos professores, mas no necessariamente o critrio
que deveria ser utilizado pela comunidade cientfica (e nem pretende ser) (Ed55).
Mas esse no um ponto convergente entre todos os respondentes, sejam
editores, bibliotecrios ou participantes da Comisso. Ao contrrio, foi sugerida a
criao de um sistema nico de avaliao de peridicos cientficos, pelo menos no que
concerne avaliao dos programas de ps-graduao e concesso de financiamentos
para facilitar o trabalho dos editores para submisso de seus peridicos avaliao.
Como aponta um dos editores, os parmetros de CNPq e CAPES so muito dspares,
onerando o editor com o preenchimento de formulrios e a submisso a diversos
processos de avaliao. Se a autonomia dos dois rgos desejvel, poderia haver
maior convergncia na solicitao de informaes sobre os peridicos (Ed56).
Essa estratgia de uniformizao das avaliaes, que poderia auxiliar editores e
pesquisadores, foi consensual entre os bibliotecrios entrevistados. Foi assinalado que a
existncia de um modelo nico para diferentes propsitos facilitaria o intercmbio de
informaes entre a comunidade usuria dos peridicos.
Alm de existirem modelos de avaliao diversos, h divergncias dentro das
prprias reas do conhecimento. Na avaliao para incluso na base Qualis, cada rea
tem seu prprio processo de classificao. A biblioteca virtual SciELO tambm tem os
seus critrios. Entre esses modelos variados de avaliao de revistas, o processo
desenvolvido pela Psicologia para Qualis foi bastante elogiado pelos bibliotecrios: eu

114

no conheo outras reas que tm o instrumento to bem elaborado e eu acho, sem

dvida, o da rea da Psicologia avanada (Bib5).
Algumas sugestes foram feitas para que essa uniformizao acontea. Uma
delas compor um grupo de discusso com participantes de todas as reas para a
elaborao de um modelo nico que pudesse ser aplicado em cada disciplina cientfica
com pequenas adaptaes em relao s caractersticas de contedo. Outras idias que
a CAPES, por meio da avaliao da Qualis, pudesse garantir essa uniformidade. Ainda
foi levantado que a BIREME em conjunto com a SciELO poderia coordenar esse
processo. De fato, o processo para alimentao da base Qualis j aponta um elemento
comum, ao exigir que os peridicos de todas as reas sejam classificados quanto ao
mbito (local, nacional e internacional) e quanto ao conceito (A, B e C). O que varia
entre os campos do conhecimento so os critrios utilizados para tal classificao.
A adoo de um nico modelo de avaliao de peridicos, atendendo a
diversos objetivos, traz embutidas vantagens e desvantagens. O efeito positivo seria o
estabelecimento de um parmetro nico que os editores teriam para se embasar e o
direcionamento das revistas ao atendimento de critrios universais. Alm disso, a
comunidade cientfica autores, pesquisadores, leitores teria um nico indicador de
qualidade para orientao, diferente do que acontece atualmente (ter que observar o
conceito da revista na CAPES, se est indexada e em quais servios, se tem
financiamento do CNPq ou outras agncias de fomento, etc.). Por outro lado, preciso
lembrar que as agncias responsveis tm objetivos especficos e nem sempre
convergentes (avaliao para qualificao da produo do Sistema Nacional de PsGraduao e para financiamento de peridicos, por exemplo), dificultando uma eventual
uniformizao.

115

No caso de ser possvel criar uma metodologia que pudesse ser adotada no pas
como um todo, embora ainda no seja factvel, poderia gerar uma massa crtica de dados
que poderia ser comparada e explorada, a fim de fornecer informaes para incrementar
os estudos sobre a produo cientfica nacional.
O que se pde perceber a partir das respostas dos participantes da pesquisa
que h uma diversidade de posicionamentos em relao a uma apreciao sobre a
avaliao de revistas feita pela Psicologia na CAPES. Entre a adeso incondicional e a
desqualificao da necessidade desse tipo de procedimento, encontram-se aqueles que
reconhecem a sua importncia, mas com ressalvas sobre suas limitaes.
De modo geral, o panorama construdo indica que os bibliotecrios
entrevistados apiam a iniciativa da Comisso e concordam sobre a forma como esta
vem sendo conduzida e os efeitos que tm gerado. J os membros da Comisso
contatados acreditam que o trabalho realizado est satisfatrio, mas reconhecem a
necessidade de reformulao e atualizao dos procedimentos e instrumentos. Quanto
aos editores, por serem os principais interessados, apontam as falhas e destacam os
pontos negativos que existem em torno do processo.
A possibilidade de um sistema nico de avaliao, que contemplasse os
interesses da CAPES, das agncias de fomento e da comunidade cientfica, parece ser
consensual entre os trs tipos de respondentes e tida como uma alternativa interessante
para reverter as crticas e os problemas identificados.

5.2. Anlise sobre a Comisso de Avaliao de peridicos de Psicologia

A partir dos dados coletados, foi possvel aferir o posicionamento dos
consultados sobre a comisso que avalia as revistas de Psicologia para o Qualis. Alm
disso, tanto editores quanto bibliotecrios opinaram sobre participantes que deveriam

116

compor o grupo avaliador e a necessidade de constituio de uma equipe

multidisciplinar.
importante ressaltar que, dependendo do objetivo de uma avaliao, os
encarregados podem ser diversos: as agncias de fomento, os indexadores, as
bibliotecas, cada um tem seu prprio comit de avaliao. No caso de uma avaliao de
peridicos que objetive fornecer subsdios para a tomada de decises por parte da
comunidade cientfica autores, leitores, revisores, editores quem seriam os principais
responsveis? Para os editores, foram citados vrios tipos de representantes como
potenciais avaliadores do processo, conforme apresentado na Tabela 3:
Tabela 3
Responsveis pela avaliao de peridicos de Psicologia segundo os editores
Quem deve se responsabilizar

Instituies voltadas a polticas cientficas

14

37

Atores vinculados publicao cientfica

13

34

Entidades da Psicologia

09

24

Igual a atual (CAPES/ANPEPP/Editores)

05

13

Comisso multidisciplinar

02

05

Resposta prejudicada

01

03

Total de respondentes

38

* Mltiplas respostas admitidas.

A maioria dos editores (71%) mencionou dois tipos de possveis responsveis
pelas avaliaes de peridicos: as instituies voltadas a polticas cientficas e os atores
vinculados ao processo de publicao de peridicos.
As instituies citadas relacionadas avaliao da produo cientfica e a
peridicos foram o CNPq, CAPES, ABEC, IBICT, indexadores em geral e SciELO.
Opinando em uma direo diferente, um dos editores apontou que deveria estar presente
nessas avaliaes apenas entidade independente de tais rgos de fomento, o que indica

117

sua opinio de que a produo cientfica deve estar distante de questes relacionadas a
financiamento.
J se sabe que tais instituies tm seus prprios processos de avaliao, com
objetivos especficos. Por essa experincia, eles poderiam colaborar, efetivamente, com
uma comisso de revistas de Psicologia. No caso da ABEC e IBICT, que esto em
contato com peridicos cientficos de todas as reas e supe-se que conheam o
funcionamento das revistas brasileiras, poderiam trazer pontos de vista diferentes das
agncias j conhecidas pelos editores CNPq, CAPES, SciELO.
Quanto participao dos principais atores envolvidos com publicao
cientfica, houve meno incluso dos editores ou profissionais com experincia em
editorao de peridicos e da comunidade cientfica, tanto aqueles que desempenham
papel de autores quanto de leitores especializados, ou seja, os pesquisadores vinculados
a instituies acadmicas e cientficas. Vale destacar aqui a sugesto de que fosse
formada uma comisso de especialistas por rea da Psicologia, a fim de abarcar a
diversidade temtica das revistas.
bastante coerente a idia de que os interessados e envolvidos com os
peridicos cientficos tenham experincia til para contribuir em uma Comisso de
Avaliao de revistas. Contudo, necessrio que se faa distino entre aqueles que
realmente possam colaborar, uma vez que a formao dos editores, autores e revisores,
salvo raras excees, provida pela prpria prtica. Assim, preciso tempo para
adquirir a experincia necessria e conhecimento sobre pesquisa e sobre a rea de
atuao.
E, de fato, o que acontece na composio da atual Comisso: so
pesquisadores renomados e reconhecidos por efetiva contribuio produo cientfica
de Psicologia no pas. Portanto, so profissionais que lidam com pesquisa (e os produtos

118

de sua comunicao), como autores, leitores e revisores, sendo que alguns desses
membros so tambm editores, eleitos pelos componentes da ANPEPP.
Foram citadas tambm as entidades da Psicologia para uma possvel comisso.
So elas: os Conselhos Federal e Regionais de Psicologia, o Frum de Entidades
Nacionais da Psicologia, a Sociedade Brasileira de Psicologia e a ANPEPP, alm das
sociedades e associaes cientficas especializadas. O envolvimento dessas entidades e
associaes no consensual, como comentado por um dos editores respondentes: uma
possibilidade seria uma avaliao das sociedades cientficas envolvidas, mas isto
acarretaria problemas na medida em que elas tambm so responsveis por alguns
peridicos (Ed23).
Das respostas fornecidas pelos editores, poucos (cinco, ou 13% dos 38
respondentes) mencionaram que a atual comisso responsvel pela avaliao (formada
por representantes da CAPES e da ANPEPP, com colaborao dos editores cientficos
da rea) era adequada, sem necessidade de alteraes. Isto indica que h uma percepo
de problemas em torno da atual avaliao, o que resulta na insatisfao dos editores em
relao comisso que atua no momento. Outras alternativas de entendimento para esse
posicionamento esto relacionadas hiptese dos editores no conhecerem ou no
lembraram dessa Comisso.
Vale destacar, mais uma vez, que a deciso sobre quem realiza uma avaliao
de peridicos cientficos deve estar diretamente relacionada com o propsito dessa
avaliao. A questo colocada para os editores foi sobre a responsabilidade de
monitorao da produo cientfica de Psicologia em virtude do aumento no nmero de
veculos de publicao.
Um outro aspecto destacado por alguns editores foi a composio de uma
comisso multidisciplinar, uma vez que o objeto da avaliao perpassa vrias reas do

119

conhecimento. No caso, os profissionais citados foram do campo da Biblioteconomia e

Jornalismo, alm de pesquisadores de outras reas, mas com experincia em editorao
cientfica, juntamente com os editores cientficos e especialistas por sub-rea da
Psicologia. Como partcipes fundamentais desse processo, os pesquisados ressaltaram a
necessidade de levar em conta a opinio dos autores e leitores nesse tipo de
procedimento.
Quanto aos bibliotecrios, estes tambm discordaram entre si em relao aos
profissionais envolvidos para conduo da avaliao de peridicos, apesar de endossar o
posicionamento dos editores sobre a importncia de equipes multidisciplinares. O que
polmico entre esses profissionais a forma de proceder para compor uma comisso.
Por um lado, comum aos entrevistados que a avaliao da forma deve ser feita por
bibliotecrios e a anlise de contedo cabe aos especialistas da rea em questo. Mas
tambm h a controvrsia de que depende da escolha dessas pessoas, ou seja,
avaliadores que no so de Cincias da Informao ou de Biblioteconomia, mas que
tenham experincia em publicao e peridicos cientficos, poderiam desenvolver essa
atividade com competncia.
Se, por um lado, a verificao da normalizao mensurvel e objetiva, por
outro, consensual que preciso ser aplicada por quem tem uma certa experincia em
como medir os parmetros solicitados, sendo adequado que seja algum da rea
especializada. J a avaliao de mrito cientfico, o contedo propriamente dito, requer
conhecimento especializado das reas e sub-reas da Psicologia. Embora, em geral,
exista o roteiro, ainda assim fica nas mos do consultor o julgamento final e preciso
que haja critrios claros e bem definidos. Para se tornar uma avaliao confivel, so
necessrios, no mnimo, de dois a trs avaliadores de contedo e, dependendo do nvel
de discordncia entre eles, at mais pareceristas. No h dvidas, entre os bibliotecrios

120

entrevistados, de que a anlise do contedo dos peridicos deve ser realizada por um
especialista da rea.
Ainda foram apontadas pelos bibliotecrios outras categorias profissionais que
poderiam auxiliar na avaliao. A colaborao de estatsticos importante,
principalmente para anlise dos pesos das variveis e para estabelecimento dos pontos
de corte. Um dos entrevistados tambm apontou que a computao dos dados para
anlise da endogenia pode ser feita por um auxiliar tcnico, j que esto em voga
programas auto-analisveis, no qual s h a descrio de autores e ttulos.
Na avaliao feita por Hutz, em 2000, tambm sobre os procedimentos da
avaliao de peridicos de Psicologia para Qualis junto a bibliotecrios, foi sugerida a
convocao de algum profissional com experincia para participar das avaliaes nos
quesitos relativos a normalizao dos ttulos. Essa sugesto de formao de uma equipe
multidisciplinar para realizar a tarefa de avaliar os peridicos da rea foi atendida e, a
partir dessa indicao, foi includo um manual com definio dos itens e critrios
pontuados e passou a contar com a participao de um bibliotecrio especializado em
normalizao. Essas aes surtiram efeito e foram percebidas nas entrevistas feitas para
esta pesquisa: porque uma coisa que eu achei legal nesse ltimo trabalho (...) definiu o
que legenda, porque eu acho que uma pessoa que no bibliotecria teria dificuldade
de fazer isso, no iria aplicar direito (Bib1).
fato, ento, que para uma avaliao de peridicos cientficos consistente e
eficiente, necessria a participao de vrios tipos de profissionais, cada um atuando
sua maneira e contribuindo na rea de sua competncia. Este processo de avaliao
termina por se constituir em uma atividade de carter multidisciplinar, to caracterstico
dos tempos atuais.

121

Quanto ao desempenho da atual Comisso de Avaliao de Psicologia, foi

comentado pelos editores a sua disposio para aperfeioamento da avaliao, o sucesso
na elaborao de um procedimento coerente com a realidade editorial das revistas
nacionais e a sua busca por objetividade e equidade de oportunidades. Tal Comisso
tambm foi congratulada pelos editores pela transparncia dos critrios, iniciativa e
pioneirismo, resultado de empenho e dedicao, levando-se em conta que se trata de
profissionais de Psicologia e no especializados em peridicos cientficos.
Como um exemplo desse esforo, tem-se que, para a construo do instrumento
utilizado, a comisso analisou modelos de avaliao anteriores, j consagrados e
produziu uma ficha de avaliao objetiva, que permite resultados precisos da produo
cientfica da rea.
A atuao dos membros da Comisso tambm foi elogiada pelos bibliotecrios.
Vale ressaltar que afirmaram que deve haver a exigncia de que os participantes de
comisses de avaliaes de peridicos terem comprovada experincia em editorao
cientfica e com os processos de pesquisa e comunicao. Alm disso, importante que
sejam especialistas bem representados e reconhecidos nacionalmente na rea de
atuao, o que tem acontecido na composio das sucessivas comisses que tm
passado pela Psicologia.
No foi solicitado aos profissionais de Psicologia que fizeram/fazem parte da
Comisso de Avaliao que se posicionassem em relao composio e desempenho
da prpria equipe, o que levou no identificao nos questionrios de qualquer
meno relacionada a esse tpico.

122

5.3. Elementos complementares: periodicidade e procedimentos

Os editores de Psicologia consultados opinaram sobre qual deveria ser a
periodicidade deste processo. Conforme a Tabela 4, as respostas sugerem que no h
consenso entre os pesquisados, apesar da predominncia da opinio de que a avaliao
deve ser anual ou bianual.
Tabela 4
Periodicidade para avaliao de peridicos de Psicologia, segundo os editores
Periodicidade da avaliao

Anual

15

39

Bianual

12

33

Continuada (a cada fascculo)

03

08

Anual ou bianual

02

06

Trienal

01

03

A cada cinco anos

01

03

Resposta inadequada

03

08

TOTAL

38

100

Por solicitao da CAPES, as avaliaes devem ocorrer anualmente, a fim de

atualizar os dados e acompanhar a classificao dos programas de ps-graduao, que
acontecem a cada ano e uma atualizao ao final de trs anos. Essa medida evita que
revistas que faam alteraes para atender aos parmetros da avaliao sejam
reconhecidas de imediato, sem a necessidade de esperar longos perodos para
eventualmente mudar de categoria na classificao.
Uma sugesto dada que as revistas fossem avaliadas durante encontros anuais
de editores de Psicologia e que ao final de trs anos, 100 revistas da rea (em mdia)
tivessem passado por uma avaliao qualitativa, em que seriam apreciados sua histria,
seu desenvolvimento, suas tendncias e sua comunidade-alvo. Ou seja, a idia que

123

haja um monitoramento que seja mais prximo da realidade e evoluo desses ttulos,
podendo compreender realmente o seu funcionamento.
fato que seria mais educativo e apresentaria resultados mais justos se tal
procedimento fosse posto em prtica, com participao de grande nmero de editores.
Entretanto, a viabilidade de um empreendimento dessa natureza, frente exigidade do
tempo e as distncias entre os participantes, questionvel.
A avaliao continuada, realizada a cada fascculo publicado das revistas se
apresenta como uma alternativa conveniente, uma vez que possibilita que os ajustes
feitos pelas revistas sejam considerados com presteza. Segundo um dos editores,
poderia ser estudado um processo de fluxo contnuo para editores que desejassem a
incluso de novos peridicos ou uma reavaliao, aps um determinado nmero de
edies (Ed46). A avaliao em fluxo contnuo tambm se aplica s novas revistas, que
no ficariam sem conceito at acontecer uma nova avaliao.
J uma avaliao a cada trs anos, ou a cada cinco anos, como mencionado por
alguns editores, permitiria a observao da revista por um perodo de tempo maior, o
que poderia gerar um retrato mais fiel das publicaes.
Os bibliotecrios e membros da Comisso de Avaliao no se posicionaram
em relao a esse aspecto da avaliao.
Outro ponto questionado aos editores foi sobre os procedimentos que seriam
mais adequados para a realizao de uma avaliao de peridicos de Psicologia. A
diversidade das respostas levou ao agrupamento nas categorias apresentadas na Tabela
5.

124

Tabela 5
Procedimentos adequados para uma avaliao de peridicos de Psicologia, segundo os
editores
Procedimentos mais adequados

Aspectos operacionais

12

32

tica da avaliao

07

18

Procedimentos atuais

06

16

Contatos/divulgao

05

13

Reconhecimento dos avaliadores

04

11

No respondeu/ Resposta prejudicada

07

18

Total de respondentes

38

* Mltiplas respostas admitidas.

Os aspectos operacionais referem-se s etapas que deveriam ser seguidas na

avaliao. Os procedimentos apontados pelos editores foram a necessidade de avaliao
dupla, o exame detalhado dos fascculos de cada peridico a ser avaliado, a anlise do
contedo da revista, a emisso de um parecer avaliativo e a possibilidade de recursos
aos resultados apresentados.
Tambm foi destacado que uma Comisso de Avaliao no deveria fazer uso
de estudos estatsticos: aps a definio de quais critrios compem uma boa revista,
elas devem ser classificadas sem a utilizao de curva normal ou qualquer outro
procedimento matemtico, que inflacione as produes e, conseqentemente, as tornem
superficiais (Ed22). J o uso de indicadores fornecidos por rgos desvinculados dos
peridicos em avaliao foi estimulado, como SciELO e ISI.
Essas aes citadas em muito se assemelham aos procedimentos atualmente
adotados pela Comisso CAPES/ANPEPP, tambm mencionados pelos editores: autoavaliao por parte dos editores, avaliao dupla dos ltimos exemplares de cada

125

peridico, anlise dos recursos solicitados pelas revistas e divulgao ampla dos
resultados.
A categoria intitulada tica da avaliao agrupou as respostas que se referiam
atitude que a comisso deve ter em relao s revistas avaliadas. A opinio que haja
respeito s condies e caractersticas de cada peridico, ou seja, sua poltica editorial,
histria e ao desenvolvimento da revista e s dificuldades encontradas. Essa sugesto
seria de difcil implementao, dada a complexidade para executar uma avaliao que
seja simultaneamente comum para mais de 90 revistas e que resguarde caractersticas
particulares dessa mesma quantidade de ttulos.
Ademais, foi bastante recorrente a idia de que necessrio conceder prazos
para que os peridicos se adeqem aos parmetros colocados pelas avaliaes. Quanto a
isso, atualmente os ttulos dispem de um intervalo (em geral, de um ano) entre duas
avaliaes para apresentar seus avanos e principais mudanas.
A composio da equipe de avaliadores julgados competentes para
desempenhar tal avaliao foi citada como importante etapa deste trabalho. Desta vez,
foi destacada a importncia de contar com profissionais especializados, no caso,
bibliotecrios, para a realizao da etapa tcnica-normativa da avaliao. Alm de
apontarem os editores cientficos e especialistas por sub-rea da Psicologia como
partcipes fundamentais desse processo, os pesquisados ressaltaram a necessidade de
levar em conta a opinio dos autores e leitores.
Cinco editores ainda apontaram que preciso maior interao entre eles e a
Comisso de Avaliao. Esta comunicao precisa acontecer no s para divulgao
dos resultados, mas que seria importante promover debates sobre os critrios e os
rankings obtidos, sob a forma de frum permanente e encontros de editores, como
afirma um dos respondentes: procedimentos mais democrticos e participativos deviam

126

ser encorajados e discutidos com a comunidade em encontros nacionais de editores

cientficos da Psicologia (Ed34).
Nesse sentido, os pesquisadores responsveis pelas avaliaes da Psicologia
(membros da Comisso de Avaliao) apontaram importantes estratgias para
empreender esse processo. Uma primeira sugesto que a lista de ttulos a serem
classificados seja composta a partir da indicao dos editores que se interessam por tal
resultado. De acordo com Com4: No a CAPES ou a Comisso (quem vai dizer que
vai ser avaliado). Tambm pediria para as revistas dizerem se queriam ser avaliadas em
seu contedo, para a gente no ir avaliando qualquer uma. Faria o que a Educao est
fazendo: escreve e a revista que diz se quer ser avaliada ou no.
Esse posicionamento entra em desacordo com o objetivo da base Qualis. Se por
um lado justo que sejam avaliados apenas os peridicos que queiram participar do
processo, por outro isso poderia excluir ttulos que publicam a produo cientfica dos
docentes de ps-graduao, o que acarretaria uma parcela dessa produo sem indicao
de qualidade. Ao mesmo tempo, importante lembrar que um dos interessados diretos
nos rankings emitidos pela CAPES so os prprios editores, que passam a ter um
parmetro para suas publicaes e podem atrair bons autores e leitores.
Outro ponto que foi citado por seis dos sete membros da Comisso consultados
foi a consulta aos pares como um procedimento de avaliao essencial: A idia de
estender a consulta a outros opinadores relevantes, que j adotada por outras reas de
conhecimento, interessante como alternativa para captar elementos da experincia dos
consultados no trato com os peridicos (como pareceristas e como autores avaliados)
(Com7). Devido a extenso e profundidade da questo, ser discutida em mais detalhes
no captulo seguinte.

127

Uma sugesto para a realizao da avaliao diz respeito ao tipo de material a

ser analisado. Um primeiro ponto refere-se necessria diferenciao entre peridico
cientfico e outros, como os de divulgao. E corroborando o que foi apontado por
alguns editores, tambm foi levantada a necessidade de propor alternativas para lidar
com os peridicos especializados e aqueles multidisciplinares.
Quanto a isso, a BVS-Psi apresenta essa distino e disponibiliza os peridicos
de acordo com esse critrio, entre tcnico-cientficos e de divulgao, o que poderia
auxiliar a Comisso. J para distinguir os ttulos temticos e os generalistas, ou que
abrangem vrias reas do conhecimento, seria necessrio mapear os critrios que
caracterizam de forma diferente esses peridicos.
Por fim, tambm foi indicado por um dos membros da Comisso de Avaliao
que seria interessante se os pontos de corte pudessem ser estabelecidos de forma
conjugada com os demais critrios de pontuao. Entende-se com isso que a idia que
o limite entre uma revista conceituada como A, B ou C no seja apenas quantitativo,
mas que condicione a um nmero mnimo de pontos em certos itens da avaliao.
Uma vez discutidos os posicionamentos de editores, bibliotecrios e
pesquisadores avaliadores a respeito da avaliao Qualis em seus aspectos mais centrais
e outros complementares, ser empreendida uma anlise mais detalhada sobre o
instrumento e os critrios de avaliao adotados pela Psicologia (captulo 6) e os efeitos
e as principais mudanas percebidas no quadro editorial a partir dessas avaliaes
CAPES/ANPEPP (captulo 7).

128

6. Consideraes sobre os critrios de avaliao

O instrumento de avaliao e alguns critrios especficos do modelo utilizado
pela classificao Qualis de Psicologia foram alvos de questionamentos, crticas e
sugestes

por

parte

dos

respondentes

da

pesquisa.

Sero

discutidos

tais

posicionamentos, confrontando as diversas opinies que giraram em torno do modelo

adotado, da concentrao nos aspectos formais e da pontuao e pesos de itens como
diversidade de autoria, gesto editorial e indexao.

6.1. Instrumento de avaliao e atualizao do processo

Existem muitos entraves para a elaborao de um instrumento de avaliao de
peridicos que seja eficiente. Um dos aspectos apontados pelos bibliotecrios
entrevistados a dificuldade de preciso quanto ponderao adequada dos critrios.
Devido complexidade da tarefa, perfeitamente possvel que nem sempre as melhores
alternativas sejam adotadas. A estratgia comumente utilizada pelos profissionais da
rea para definio dos pesos das variveis o esquema tentativa-e-erro: atribuem-se
as pontuaes e faz-se o teste. Algumas variveis podem apresentar um peso muito forte
indevidamente, o que leva observao mais detalhada da situao. Um dos
entrevistados afirma: As ponderaes, tentativa e erro, quer dizer, voc ajustar essa
ponderao o grande problema. So testes estatsticos que voc vai fazendo para poder
chegar a ter uma curva normal de distribuio que o que o teste estatstico sempre
mede (Bib4).
Alm dessas experincias, que determinam se uma varivel tem importncia
maior do que outra, os bibliotecrios informaram que essencial o conhecimento

129

terico e prtico sobre a temtica, para poder identificar se os pesos dos

critrios esto adequados, proporcionais. E mais: algumas definies a priori auxiliam
na definio das ponderaes, como o caso dos critrios obrigatrios (ou critrios
mnimos). As caractersticas que so esperadas das revistas de qualidade j recebem, de
imediato, um peso maior, como regularidade, normalizao e diversidade de autoria.
Nesses casos, avaliado se a revista apresenta ou no as variveis estabelecidas
como indicadores de qualidade. Para avaliao desses critrios mnimos, procura-se
identificar os aspectos que, obrigatoriamente, o peridico cientfico deve apresentar. Se
estes no estiverem presentes, outras variveis nem so ponderadas. Quanto aos
critrios que no so obrigatrios, tambm baseado na experincia dos profissionais,
definido o grau de importncia da varivel como determinante de qualidade de uma
revista cientfica.
A questo a respeito da exigncia do atendimento de certos critrios para
viabilizar a participao nas avaliaes polmica. Os bibliotecrios Bib1 e Bib5
afirmaram que a composio dos critrios mnimos abrange os itens referentes
normalizao. Entretanto, esses aspectos da avaliao so facilmente contornveis, o
que perde o sentido se forem estabelecidos como exigncias preliminares. Pelo
contrrio, a entrevistada Bib4 afirma que esses so aspectos avaliados por ltimo, j que
se uma revista apresentar artigos relevantes e tiver participao de bons autores, a
padronizao uma etapa simples de adequao, o que privilegia realmente o contedo
do peridico.
J a bibliotecria Bib3 afirmou que deve haver um maior controle da parte
tcnica dos peridicos, uma vez que as revistas de Psicologia j tiveram tempo
suficiente para adaptao aos critrios exigidos desde a primeira avaliao. Como
ilustrado nesse trecho, principalmente esse primeiro bloco aqui da avaliao ser

130

considerado como critrio mnimo, uma exigncia mnima para ser avaliado. As revistas
j tiveram um tempo suficiente para essa adaptao. Para ser avaliado, (deve) estar bem
normalizada (Bib3).
No outro grupo de respondentes, um dos editores chamou a ateno para este
fato, que j acontece em algumas avaliaes de certas reas, como na Educao,
afirmando que (...) aspectos inerentes a uma publicao cientfica, tais como corpo
editorial e aspectos tcnicos, so questes primrias sem os quais no podemos chamar
a publicao de peridico cientfico. Quer dizer, so quesitos eliminatrios para
concorrer a uma avaliao (Ed31). Pensando nessa questo, muitos indexadores,
incluindo a biblioteca virtual SciELO, adotam tal procedimento, visando definir um
padro e sinalizar um parmetro de qualidade mnimo necessrio para um peridico ser
avaliado.
Outros dois entrevistados (Bib2 e Bib3) concordaram que j houve muita
indicao por parte da Comisso do que considerado nas avaliaes, mas apontaram
que no h necessidade de estabelecer pontos de corte. Na verdade, a excluso de
revistas do processo de avaliao s prejudica a comunidade cientfica, que fica sem
informaes a respeito do maior nmero de ttulos da rea.
Apesar de j definidos desde 1998 no quadro de Psicologia, muitas revistas no
preenchem os requisitos estabelecidos e, quando uma revista no cumpre esses aspectos
tcnicos, que so mais facilmente atendidos, prejudicada na avaliao, o que j pode
ser considerado uma punio.
Alm disso, de acordo com um dos bibliotecrios entrevistados, o modelo
adotado conduz a avaliao a privilegiar ou punir certos aspectos, pontuando
duplamente. Como exemplo, citaram que uma revista avaliada duas vezes quanto ao

131

atraso da publicao, no item regularidade e no item referente a proposta de

periodicidade, j que s atribudo pontos se essa periodicidade for cumprida.
Outra crtica apontada aos modelos de avaliao que muitos instrumentos no
permitem a identificao das gradaes, que as ponderaes so muito rgidas. Existem
alguns critrios que so avaliados segundo uma pontuao mxima e uma mnima, sem
considerar uma pontuao intermediria. Um dos bibliotecrios aponta que deveria
haver um meio termo, a avaliao poderia considerar as nuanas, estabelecendo pesos
proporcionais em cada situao apresentada.
Quanto a isso, dois dos bibliotecrios consultados que tm contato com os
editores da rea afirmaram que estes esto insatisfeitos com essa maneira como o
questionrio mede e pontua os critrios estabelecidos. Foi discutido que o instrumento
salienta aspectos importantes de um peridico cientfico, mas que muitas vezes no
considera as gradaes. Isto significa que em alguns itens a pontuao atribuda segue o
esquema tudo-ou-nada, sem considerar situaes intermedirias.
Uma alternativa para essa questo trabalhar com um modelo que no leve em
conta a pontuao, ou seja, realizar uma avaliao que considere as caractersticas da
revista sem apresentar resultados quantitativos. Essa j uma realidade em algumas
instituies, como BIREME e SciELO e vem apresentando xitos. A dificuldade
encontrada que o resultado final recai na avaliao subjetiva por parte dos avaliadores.
Em uma apreciao geral, os trs grupos de respondentes apontaram que o
modelo atual da Psicologia tem a potencialidade de ser baseado em ampla reviso da
literatura e abranger tpicos que so extremamente relevantes em uma avaliao de
peridicos, como citado por um dos membros da Comisso: (o instrumento) j provou
por seus efeitos a sua capacidade de medir a normalizao, a regularidade das

132

publicaes (item que era muito problemtico na imensa maioria dos peridicos) e a
gesto editorial (Com2).
Na verdade, os critrios adotados pela Comisso so sempre um dos pontos
mais polmicos e que geram tantas discusses nos encontros de editores e interessados
em publicao cientfica. No h consenso entre os envolvidos e as crticas e sugestes
aparecem, mas no satisfazem a todos. De fato, desde a primeira avaliao, existem
alguns itens da ficha de avaliao que foram modificados, tiveram a pontuao alterada
ou foram excludos, em virtude da opinio dos editores, autores, leitores ou da prpria
Comisso.
O posicionamento dos editores em relao aos critrios atuais paradoxal:
foram citados tanto como aspecto negativo (com maior freqncia), como positivos e
ainda houve aqueles que indicaram a necessidade de serem feitos apenas alguns ajustes,
como bem explicado aqui: Os critrios que a comisso original formulou so
relevantes, adequados e suficientes. necessrio recalibrar pesos e ponderaes, tendo
em vista mudanas que ocorreram (para melhor) na qualidade editorial das revistas
(Ed5).
Os aspectos positivos citados em relao aos critrios atuais foram o
levantamento

de

parmetros

acadmicos

como

normalizao,

exigncia

de

representatividade e diversidade do conselho cientfico e editorial, a adoo de peer

review, a impresso das datas de tramitao e periodicidade e regularidade.
Por outro lado, o uso de variveis pouco claras e mudanas no sistema de
pontuao aps a publicao dos nmeros que ainda sero avaliados foram questes
emergentes, assim como a idia de que itens como qualidade grfica e normas de
publicao so dispensveis. Alm disso, o peso atribudo periodicidade, diversidade

133

geogrfica da autoria, regularidade e representatividade do conselho editorial foram

alvos de crticas por parte dos editores.
Os pesquisadores que responderam como participantes da Comisso de
Avaliao tambm ressaltaram alguns problemas em torno do processo classificatrio
que precisam ser revistos para as prximas edies, principalmente no que diz respeito
homogeneizao dos ttulos. Segundo Com7: falta uma poltica de reconhecimento
heterogneo da lgica de produo de reas distintas, especialmente em um campo
como a Psicologia que transita entre tantas distintas reas acadmicas (...) Penso que
deveramos ter instrumentos distintos para realidade de peridicos distintos.
consenso entre membros da Comisso e editores que deve haver discusses
em relao lgica de pontuao que fere as revistas temticas ou centradas em
determinadas sub-reas. De acordo com os editores, h um elenco de peridicos cujo
objetivo publicar contribuies no mbito de uma nica orientao terica, como a
Psicanlise, assim como publicaes que acolhem contribuies de vrias reas.
Essa diversidade temtica foi defendida por grande parte dos editores, o que
suscita uma questo polmica. Os peridicos tiveram em sua origem um carter
generalista, pluralista, que objetivava contemplar as diversas perspectivas e temas de
interesse. Hoje, o que se percebe, a tendncia especializao das revistas. Trata-se de
um aspecto controverso, no s na Psicologia, sobre a migrao das revistas de uma
apresentao generalista para uma especialista, portanto, difcil de ser julgado como
positivo ou negativo.
A considerao de diferentes tipos de peridicos na avaliao tambm promove
distores, ou seja, o conjunto de critrios que vem sendo considerado no permite uma
avaliao apropriada tanto dos peridicos eletrnicos como dos peridicos estrangeiros,
cuja classificao atual frgil. Como informa um dos consultados, para as revistas

134

diretamente relacionadas s neurocincias possvel contar com o Fator de Impacto do

JCR, mas para os peridicos das demais reas da Psicologia e das Cincias Humanas e
Sociais, tal possibilidade no existe. O avaliador comenta: preciso lembrar que o
Qualis afeta, de forma marcante, as caractersticas das publicaes nacionais, mas
dificilmente teria reflexo desse tipo sobre as publicaes estrangeiras (Com7).
Diante das crticas e problemas apontados pelos consultados, identifica-se uma
necessidade de adaptao do instrumento para um modelo mais coerente com o quadro
editorial da rea. Foi sugerido por todos os participantes da pesquisa editores,
bibliotecrios e membros da Comisso de Avaliao - o re-estudo do questionrio, dos
pesos e pontuaes, com possibilidade de auxlio de profissionais de Estatstica, que
poderiam apontar os desajustes dos itens.
Na verdade, essa reviso parece imprescindvel, uma vez que o processo de
avaliao foi construdo para atender uma necessidade de um dado momento, sendo
preciso rev-lo e adapt-lo s novas circunstncias. Trata-se de um instrumento cuja
base no apresentou grandes mudanas ao longo dos anos, embora tenha incorporado
atualizaes. A prpria comisso reconhece essa urgncia: h uma necessidade urgente
de reviso do instrumento j que ele deixou de representar o salto qualitativo que muitos
peridicos j tem feito (Com6).
consenso entre os profissionais que lidam com peridicos cientficos que o
modelo e os instrumentos utilizados precisam estar em constante adaptao, para
conseguir avaliar adequadamente as caractersticas das revistas cientficas. Todo
processo de avaliao tem de sofrer ajustes e melhorar, analisando os processos
anteriores para corrigir, eventualmente, o modelo. A evoluo dos modelos de avaliao
tambm deve acontecer para acompanhar as mudanas percebidas nos peridicos. A
forma de avaliar deve evoluir junto com os peridicos que esto sendo avaliados. Como

135

exemplifica o entrevistado Bib4: o instrumento, ele tem de ser avaliado e tem de ser
sempre atualizado. Tem de ter mudanas mesmo, no poderia dar a mesma classificao
que dava na primeira, se no, todas as revistas seriam nacionais, nacionais A.
Apesar das mudanas observadas desde as primeiras avaliaes de peridicos
aos dias atuais, ainda no h um modelo satisfatrio. Segundo um dos entrevistados,
(...) a coisa est melhorando, mas no existe ainda um modelo (Bib3). O sistema
desenvolvido pela biblioteca virtual SciELO foi apontado como o mais completo
existente no Brasil atualmente19.
esse o princpio apontado pelos bibliotecrios, que o nvel de exigncia nas
avaliaes deve ser sempre crescente. Uma vez que as revistas avaliadas atingiram um
determinado patamar, ou seja, melhoraram e conseguiram atender o mnimo estipulado,
esse grau de cobrana aumenta. Os peridicos e seus editores tm sempre um degrau
para galgar e o ranking sempre mutvel. Essas alteraes em relao ao padro
mnimo requerido das revistas so inevitveis uma vez que incoerente atribuir o
conceito mximo ao universo total de revistas: dentro de um conjunto de ttulos, h
aqueles que mais se destacam.

6.2. Aspectos formais versus mrito cientfico

A discusso sobre avaliao quantitativa e qualitativa, considerao de aspectos
formais e de contedo, foi um dos principais pontos que permeou toda a meta-avaliao,
entre os trs grupos de respondentes. O argumento estabelecido pela comunidade

19

O processo de avaliao dos peridicos para compor a coleo SciELO comea com a anlise das
chamadas pr-condies, ou seja, o formato da revista e a endogenia, que inclui normalizao,
distribuio, se recebe financiamento do CNPq e o conceito obtido na base Qualis. Em seguida, so
enviados fascculos da revista para dois ou trs especialistas da rea para emisso de parecer sobre o
contedo publicado. Por fim, so anexados os relatrios dessas duas etapas e submetidos a avaliao pelo
Comit Consultivo da SciELO, que pode aprovar, reprovar ou requerer mais elementos para subsidiar a
avaliao.

136

acadmica que um peridico cientfico para ser considerado de qualidade deve

apresentar algumas caractersticas formais, mas a qualidade do seu contedo o retrato
mais fiel do mrito acadmico e cientfico do ttulo. Em outras palavras, para definio
do grau de importncia que os peridicos desempenham para a comunidade cientfica, a
qualidade dos artigos o item que deve merecer maior ateno e que tem maior peso na
avaliao geral do peridico.
Entretanto, foi unanimidade entre os bibliotecrios entrevistados que os
aspectos formais e de contedo se complementam para indicar um bom peridico. Ou
seja, a qualidade dos ttulos deve estar centrada em suas duas faces: alm de
apresentarem a normalizao satisfatria, as revistas cientficas precisam ter tambm
um contedo relevante e inovador para a comunidade cientfica. Um dos entrevistados
apontou que todo tipo de recurso que facilite o acesso aos contedos publicados so
indicadores de qualidade (Bib5) e entre eles, pode-se citar a apresentao fsica e
identificao, indexao em bases de dados, presena em bibliotecas e regularidade da
publicao.
Alguns profissionais de Cincias da Informao consultados afirmaram que,
em muitos casos, h consonncia entre as revistas que apresentam contedo de
qualidade e que tambm esto dentro dos padres de forma requeridos. Um dos pontos
que conduzem a esse quadro o interesse cada vez maior pela normalizao, no
tentando suplantar o contedo, mas com maior valorizao dos aspectos de forma,
principalmente entre os editores preocupados em indexar em bases de dados. Mas,
algumas vezes, o mrito cientfico e a normalizao so aspectos bem distintos e a
avaliao de apenas um dos dois lados, pode fazer diferena.
Existem peridicos considerados de alto nvel de qualidade, mas que no
cumprem os critrios de padronizao e normalizao. Como esclarece um dos

137

entrevistados: quando voc aplica esses nossos modelos, em que a gente fala
obrigatrio ter o resumo bilnge, sumrio bilnge, ttulo traduzido, descritores
traduzidos, etc, ele perde. Mas a, a gente sabe que a revista perde nesses critrios
formais, o editor reclama bastante por isso, que diz que isso no tem nada a ver, etc.,
mas uma caracterstica que a revista no tem, ele assume isso, uma opo do editor,
mas que prejudica essa contagem (Bib1). Outro entrevistado completa essa idia,
afirmando que os editores esto bastante conscientes de tudo que eles tm que fazer. Se
no fazem porque no querem, mas a parte de citao independe de voc fazer uma
boa avaliao de forma (Bib4).
No caso da avaliao que feita pela Comisso de Psicologia para a base
Qualis, existem dois pontos centrais a serem discutidos, resultantes da opinio dos
envolvidos no processo: primeiro, o ganho sem precedentes decorrente do maior
controle da formalizao das revistas e, segundo, a concentrao na avaliao dos
aspectos formais em detrimento da anlise do contedo publicado.
Alguns editores (29%) fizeram meno ao critrio Padronizao em resposta
aos critrios que julgam mais importantes para uma avaliao dos ttulos da rea. Isso
representa um avano significativo da comunidade editorial de Psicologia. Se at h
pouco tempo muitos desconheciam os aspectos tcnicos necessrios, como presena de
ISSN, resumo bilnge e legenda bibliogrfica, hoje, reconhecem a importncia da
padronizao dos peridicos para facilitar a comunicao entre os interessados. O que
se percebe que revistas mais antigas, embora j consolidadas e com prestgio
reconhecido, apresentam graves problemas tcnicos, de normalizao, por terem surgido
em um momento em que no se priorizavam tais aspectos.
Por outro lado, h crticas valorizao apenas desses aspectos, como bem
pontua uma das integrantes da Comisso de Avaliao: o tpico Normalizao no se

138

justifica mais, pois o carter pedaggico do instrumento inicial j foi compreendido

pelos editores e incorporado. No entanto, uma avaliao mais qualitativa e consulta
comunidade sobre o impacto do peridico so urgentes (Com2). Em consonncia com
essa idia, situam-se os editores, que apontaram a concentrao em aspectos formais
como a terceira categoria de respostas mais recorrentes entre os aspectos negativos em
torno dessa avaliao, como observado aqui: excessiva concentrao em aspectos
formais, avaliados de forma um tanto rgida. Por exemplo, a idia de que as revistas
publiquem autores de todo Brasil boa. J estabelecer o percentual em 60% e tirar
ponto na avaliao caso o percentual em uma revista seja 50%, acho empobrecedor,
melhor seria uma mdia por vrios nmeros (Ed45).
O que questionado o fato dessa avaliao no contribuir para uma
apreciao do contedo, da qualidade propriamente dita dos peridicos, se limitando a
pontuar itens formais, tcnicos, que podem ser facilmente adequados pelos editores: os
critrios determinados podero ser atingidos, subindo o conceito, sem que haja
qualidade dos artigos e da qualidade do peridico (Ed22).
O ponto em discusso o uso de indicadores meramente quantitativos, quando
se poderia observar outros itens, qualitativamente. Como exemplo, foi apontado que
seria importante considerar a linha editorial das revistas, mas sem pontuao.
Entretanto, caso assim procedesse, surgiriam outros questionamentos: como tornar essa
avaliao qualitativa objetiva, traduzida em conceitos possveis de serem apreendidos
por todos? Como isentar o carter subjetivo desse tipo de avaliao? O debate entre
avaliao quantitativa/qualitativa est longe de ser suprimido, j que os argumentos so
vrios e fundamentados de ambos os lados.
Quanto a essa questo, os bibliotecrios foram enfticos, ao afirmar que o
instrumento da Psicologia precisa ser re-elaborado a fim de contemplar a avaliao de

139

contedo. Esta se apresenta, para trs dos entrevistados, como um elemento essencial
para uma avaliao de peridicos cientficos completa e que a no incluso desse
aspecto faz diferena nos resultados. J os outros dois apontam que o contedo uma
questo complexa para ser abordada, principalmente por ser uma avaliao muito
subjetiva e no ter um instrumento a ser seguido.
Atualmente,

com

muitas

revistas

em

nvel

semelhante

de

apresentao/padronizao, a avaliao do contedo seria o aspecto diferencial entre

elas. Como as avaliaes de peridicos j esto se firmando em suas reas, com critrios
e procedimentos j consolidados, o prximo passo a ser testado, segundo os
entrevistados, seria a verificao da qualidade do contedo. Apesar de ser considerado
um elemento essencial para compor uma avaliao mais completa das revistas, fica
constatado pelos prprios bibliotecrios a dificuldade de se elaborar um modelo eficaz e
confivel para avaliar esse aspecto. Contudo, contando com uma Comisso de
Avaliao composta por membros qualificados e experientes, como bem apontado por
um dos entrevistados, a tentativa deve ser empreendida.
Essa insero de elementos qualitativos na avaliao foi um ponto muito
requisitado pelos editores. Uma possibilidade sugerida para a Comisso de Avaliao
estimular a diversidade do contedo publicado (no s artigos, mas resenhas, relatos de
experincia, sesses de entrevistas, notcias etc.), apontada como positiva por alguns
editores. A publicao de material diverso bem vista por esse grupo, uma vez que faz
a revista cumprir uma de suas funes, que promover o debate e informar o leitor.
Entretanto, especialistas em editorao cientfica defendem que o maior peso de um
peridico, para ser considerado de qualidade, est nos relatos de pesquisa sob a forma
de artigos originais, e no nos outros tipos de material, como resenhas, notas tcnicas,
entrevistas.

140

Foi mencionada pelos editores com freqncia a importncia de avaliar a

qualidade dos artigos quanto relevncia, originalidade e rigor metodolgico. Quanto a
esse ponto, questiona-se o papel desempenhado pelo peer review: se por um lado, uma
revista j adota esse sistema de arbitragem, no haveria necessidade de mais uma
avaliao por parte de uma comisso de avaliao de peridicos. Por outro, tem-se que
se considerar as falhas, ticas e operacionais, relacionadas avaliao duplo-cego, o que
poderia ser corrigido com uma nova avaliao, externa revista.
A coerncia e originalidade da linha editorial da revista e sua adequao com
os artigos foram citadas por alguns respondentes. um aspecto complexo de se avaliar,
pois prescindiria, necessariamente, de especialistas em cada sub-rea da Psicologia,
aptos a participar de tal julgamento.
A Comisso de Avaliao tambm pactua dessa idia e assume a questo da
verificao do contedo publicado: Os (aspectos) negativos dizem respeito justamente
dificuldade que se teve at agora de controlar diretamente a qualidade das revistas. Ou
seja, esse controle se d por meio da anlise de aspectos que podem ser considerados
mais formais do que de contedo, ainda que em absoluto se possa aceitar a crtica de
que a avaliao meramente formal e perfunctria (Com2).
Diante do desafio que a apreciao qualitativa dos peridicos, a alternativa
encontrada por alguns sistemas de avaliao acionar o mecanismo do peer review,
semelhante para avaliao dos artigos submetidos (Ferreira & Krzyzanowski, 2003).
Para que haja maior iseno do carter subjetivo presente na tarefa, os consultores
convidados seguem um roteiro e um formulrio, no qual eles podem ser instrudos sobre
os procedimentos e o tipo de anlise que deve ser feita sobre os fascculos das revistas.
Em geral, so chamados dois ou trs pesquisadores da rea, que possam opinar com

141

fundamento a partir de sua experincia, do seu conhecimento sobre as instituies e as

pessoas da comunidade cientfica envolvida.
A maior queixa em relao a esse aspecto entre todos os entrevistados que
no existe nenhum treinamento para reviso por pares, nem para artigos nem para
revistas. Apesar de ter um instrumento para orientao dos consultores existe a
possibilidade do avaliador deixar aparecer seu posicionamento pessoal, e no acadmico
ou cientifico. uma rea em que os pesquisadores precisam receber um determinado
treinamento e a partir da prtica que vo acumulando experincia para desempenhar a
atividade. Um dos bibliotecrios sugeriu uma forma de garantir que essas avaliaes
sejam feitas por profissionais qualificados, que a partir da verificao da produo
cientfica desses pesquisadores. Partindo do pressuposto de que o profissional bastante
produtivo e publica muitos trabalhos, espera-se que ele tenha mais conhecimento e
familiaridade de como o processo, podendo emitir pareceres mais fundamentados.
Alm da anlise dos fascculos por meio de consultores convidados, foram
apontadas outras maneiras de avaliar o contedo dos peridicos cientficos. O
julgamento pela prpria comunidade cientfica e o nmero de citaes que a revista
alcana no seu meio so formas de perceber se os artigos que uma revista est
publicando tm peso na comunidade cientfica. Esse endosso da comunidade s
acontece quando a revista oferece contedo de qualidade, se ela publicar material
inovador para ser citado e contedo de interesse para os pesquisadores.
A avaliao pelos autores outra alternativa para comprovar a qualidade dos
artigos publicados. Pesquisar sobre o desempenho dos autores em bases como ISI e
Medline, para averiguar sua produo cientifica, pode fornecer indicadores indiretos
sobre a qualidade da publicao. necessrio, entretanto, cautela para no confundir a
performance dos pesquisadores e critrios de avaliao da produo cientfica com os

142

elementos para subsidiar a avaliao dos peridicos cientficos. Outro problema

decorrente dessa idia a escassez de bases de dados que possam prover informaes
para todas as reas a rea mdica em geral mais simples por ter disponveis muitas
bases de dados. J as disciplinas de Humanas encontram mais dificuldades para fazer
essa verificao.
O mtodo mais comumente utilizado para aferio direta da qualidade de um
peridico a considerao do impacto da publicao, sugesto bastante recorrente entre
os editores. Quanto a esse indicador, foram sugeridos no apenas as citaes, mas
tambm o impacto por meio do uso em sala de aula e na subrea de conhecimento e
atuao, a relevncia do peridico avaliado, nos mbitos acadmico e profissional e a
responsabilidade social que a revista assume. fato que seria enriquecedor avaliar se as
revistas tm dado respostas s demandas, no s acadmicas e cientficas, mas tambm
conhecer o impacto social dos artigos publicados, o quanto eles atingem a comunidade
de servios.
Outro ponto que chama a ateno quanto citao que os prprios
pesquisados salientaram que este no um ndice facilmente exeqvel nem suficiente,
de acordo com Ed18: (...) a penetrao que a revista conquistou, embora no saiba
como medir isso (citaes resolvem apenas em parte essa medida). A polmica em
torno do Fator de Impacto e das citaes aparece nas respostas dos editores, que se
mostram indecisos entre a utilidade do ndice e os problemas decorrentes dessa
medio: Na Psicologia, o grau de impacto no uma medida assim to simples e
relevante, embora seja uma medida relevante o quanto os artigos de um peridico so
lidos e citados por uma comunidade de pesquisa. importante, portanto, entender as
medidas e analisar suas limitaes para a sub-rea em que o peridico est inserido para
avaliao (Ed34).

143

A Comisso de Avaliao concorda que a incluso de um ndice de impacto

poderia potencializar os resultados obtidos com as avaliaes: uma melhoria talvez
devesse passar pelo controle efetivo do contedo, que provavelmente teria que ser
medido pelo nvel de impacto do peridico nas dissertaes e teses da rea, por
exemplo (Com2). A citao considerada o grande indicador que se tem atualmente, j
que vista como reforo ou endosso dos pares da comunidade cientfica ao trabalho
publicado. Assim, o fluxo esperado de um processo de produo cientfica a
realizao da pesquisa, sua publicao e, posteriormente a citao por outros membros
da rea de conhecimento. Desta forma, no levar em conta o uso de um trabalho na
comunidade cientfica em uma avaliao de peridicos cientficos pode comprometer os
resultados.
Um exemplo citado por um dos bibliotecrios explica a questo: voc tem dez
revistas da rea (no ISI) e voc tem sete que tm um bom impacto e duas ou trs que
no tm, voc j sabe que, nesse universo, voc j tem um problema com aquelas
revistas (...) porque se ela est dentro da SciELO ou da ISI e no tem Fator de Impacto,
uma medida que voc j est usando (Bib2). Em outras palavras, um indicador til
e necessrio e desejvel que seja aproveitado para complementar as avaliaes dos
peridicos que esto disponibilizados nas bases de dados.
Um grande problema surge ao se comparar com as revistas que no tm esse
indicador disponibilizado. No caso do universo das revistas brasileiras (considerando
todas as reas), so apenas 26 ttulos includos na base de dados internacional que
fornece o Fator de Impacto. A sada apontada pelos bibliotecrios no prejudicar
aquelas que no tem esse ndice definido e no privilegiar as que esto no ISI. Para no
punir muitas revistas, preciso considerar tal fator, mas sempre recorrendo a uma
medida alternativa.

144

Alm da necessidade de criar indicadores a fim de complementar as avaliaes

de peridicos, existe a necessidade de elaborar tais mecanismos em respostas s crticas
feitas adoo de um indicador internacional para avaliar a produo nacional. H de se
ressaltar que os resultados obtidos por meio das avaliaes de peridicos cientficos
esto sendo usados para outras avaliaes, como pesquisadores, cursos, etc. preciso,
pois, elaborar estratgias que possam responder realidade nacional, em vez de
continuar utilizando o Fator de Impacto do ISI que no foi criado para essa finalidade.
Faz-se premente pensar na relao entre um indicador especfico e o contexto no qual
ele est sendo utilizado, sem recorrer a relativismos extremos que possam comprometer
a utilidade e ampla difuso dos dados.
Foram citadas algumas estratgias diferenciadas para avaliar o impacto de uma
publicao que no seja o indicador fornecido pelo ISI. A existncia dessas alternativas
uma grande prova do crescimento da temtica de publicao cientfica e da
preocupao em criar solues a fim de aperfeioar as avaliaes de peridicos. Uma
delas, em andamento j h algum tempo, a tentativa da SciELO em reproduzir o Fator
de Impacto para as revistas de sua coleo. Como ainda assim o nmero de ttulos
muito limitado em todas as reas, outras alternativas se fazem necessrias no Brasil.
Os trabalhos cientficos da rea de Biologia tm passado por uma experincia
enriquecedora nesse sentido, intitulada F1000 (Fator 1000). Uma associao cientfica
internacional da rea selecionou mil pesquisadores em todo o mundo e esses
profissionais esto constantemente avaliando revistas da rea ao indicar os artigos mais
relevantes publicados nas revistas. No est sendo considerado, portanto, o impacto por
citao formal em revistas, mas decorrente da indicao de uma comunidade de
usurios. Na verdade, trata-se de uma indicao de pares, mesmo que eles no tenham

145

citado o trabalho em artigos cientficos, mas um reforo da importncia das

publicaes a partir de sua leitura.
Outra experincia presente em algumas reas de avaliao da CAPES a
citao pelos cursos de ps-graduao. Cada programa indica as publicaes que esto
sendo adotadas em disciplinas, nos processos de seleo ou que os alunos esto
adotando em suas dissertaes e teses. uma alternativa mais formalizada e representa
mais do que indicaes um retrato fiel do quanto os artigos e as revistas cientficas
esto sendo utilizados pela comunidade acadmica.
Mais duas estratgias de avaliao do impacto de uma produo cientfica
foram apresentadas pelos bibliotecrios: a citao em outros documentos e o impacto
social. Ainda no comum fazer anlise de citaes em documentos oficiais que no
sejam artigos, no h estudo das referncias bibliogrficas de outros produtos que fazem
citaes que no sejam revistas cientficas. Poderiam ser explorados documentos
publicados por rgos governamentais, trabalhos apresentados em eventos, jornais e
revistas de divulgao, entre outros. Os artigos cientficos podem estar sendo citados em
outras fontes de produo que poderiam ser mais bem aproveitadas como indicadores.
J o outro caso, o impacto social, medido pelo uso que a comunidade de
servios faz das revistas cientficas: uma vez que muitos artigos no so destinados para
a comunidade cientfica, os usurios dessas produes so os profissionais que esto no
mercado de trabalho e no na academia, quem est no atendimento direto populao
que vai adotar ou no os mtodos publicados nos artigos. Assim, no a comunidade
cientfica que refora a relevncia do trabalho publicado. A questo para avaliar esse
tipo de impacto que esses profissionais no publicam e, conseqentemente, no fazem
citaes. Trata-se de um mrito social de impacto nos servios que no medido, por
exemplo, o quanto refletiu em polticas pblicas, em mudana de servios.

146

Essas so experincias inovadoras e, enquanto no forem formalizadas e

provado que no so tendenciosas, mas pelo contrrio, que podem fornecer indicadores
seguros e confiveis, o Fator de Impacto continua sendo a grande referncia para
avaliao do impacto dos trabalhos cientficos. Uma vez criados esses mecanismos, que
podem ser complementares, somados podem dar uma medida melhor do que seja
qualidade.

6.3. Alguns critrios especficos da avaliao Qualis

Foi perguntado aos editores quais critrios de avaliao eles julgam relevantes
para a classificao dos peridicos cientficos de Psicologia. As respostas obtidas foram
diversas, desde aspectos muito amplos, como critrios qualitativos e quantitativos, na
preferncia do qualitativo, embora seja muito difcil esta avaliao (Ed26) at aspectos
bem especficos como presena de ISSN na capa (Ed16) ou regularidade da
publicao, sem atraso (Ed33). Isto pode ser melhor observado na Tabela 6:
Tabela 6
Critrios julgados relevantes para uma avaliao de peridicos de Psicologia
Critrios relevantes

Contedo

18

47

Publicao

17

45

Gesto editorial

13

34

Autoria

12

32

Impacto

11

29

Normalizao/Padronizao

11

29

Circulao

07

18

Critrios atuais

07

18

Critrios mnimos

01

03

Resposta prejudicada

05

13

Total de respondentes

38

147

Alguns desses critrios j foram abordados em sesses anteriores, como a

importncia atribuda a uma apreciao do contedo das revistas (critrio citado por
quase 50% dos editores consultados), o papel do item padronizao, alternativas de
medio do impacto das publicaes e a possibilidade de elaborao de critrios
mnimos.
A categoria intitulada Publicao (que teve o segundo maior percentual de
respostas de editores, muito prximo s indicaes de contedo) diz respeito s
indicaes de periodicidade, regularidade e tempo de publicao. Os respondentes
demonstraram atribuir importncia especial periodicidade para ser avaliada, mas
destacam que preciso considerar a estrutura das revistas e a produo de conhecimento
da rea para estimar a periodicidade desejvel, como afirmam esses editores: a
periodicidade fundamental, mas na rea das Humanidades, no d pra pensar em uma
periodicidade trimestral, por exemplo, por falta de recursos (Ed81) e assiduidade e
pontualidade do credibilidade ao peridico e devem ser consideradas, levando-se em
conta a realidade do pas (Ed44).
O item periodicidade sempre polmico. Muitos afirmam que a produo de
trabalhos e pesquisas nas reas de Humanas ou Sociais demandam mais tempo e maior
elaborao do que nas outras reas. Isso afetaria a periodicidade estipulada pelas
revistas, uma vez que o fluxo de submisso de manuscritos mais lento. Alm disso, em
geral, no h um nmero razovel de artigos por cada peridico que garanta um fluxo
freqente e ininterrupto da publicao.
Um aspecto consensual que a regularidade imprescindvel, apesar de as
revistas da rea de Humanas, em geral, apresentarem problemas nesse quesito devido,
sobretudo, s dificuldades financeiras e falta de estrutura de apoio. A realidade das
condies do quadro editorial brasileiro crtica, tornando difcil manter a periodicidade

148

regular, sem atrasos. Muitas vezes so fatores externos aos peridicos, como
financiamento, falta de estrutura e recursos humanos deficitrios para cumprir os
prazos. As revistas muito atrasadas tm que ser consideradas e penalizadas por isso nas
avaliaes, mas h de se conceder uma margem para esse atraso. A prpria Comisso
defende esse ponto: cria um rtulo nem sempre totalmente justo quando penaliza
revistas por atrasos, por exemplo (Com6).
Na categoria Gesto editorial foram contabilizadas as respostas que se
referiam ao conselho editorial das revistas, ao conselho cientfico e corpo de consultores
ad hoc, ao fluxo das revistas (e ndice de rejeio) e aos mecanismos utilizados pelas
revistas para arbitragem dos artigos, como o peer review.
Os editores que responderam a pesquisa destacaram no s a importncia da
diversidade desses gestores das revistas, mas tambm sua representatividade, ou seja,
que sejam pesquisadores renomados da rea da Psicologia. Ora, no restam dvidas de
que a presena de pesquisadores bem conceituados pode elevar o padro de qualidade
de um peridico, uma vez que se trata de profissionais experientes. Mas como bem
lembrado por um dos respondentes, o corpo de consultores importante, mas a
exigncia de que sejam doutores de diferentes instituies acaba no fazendo muito
sentido, quando se tem pessoas (que no so doutores renomados) que realmente
trabalham e fazem uma avaliao sria dos manuscritos encaminhados enquanto muitos
consultores externos no correspondem aos prazos e demandas dos editores (Ed44).
Haja vista a quantidade de revistas que temos no pas e a quantidade de pesquisadores
de ponta, torna-se impraticvel a presena de tais pesquisadores nos quadros de todas
elas. E se o fazem, h sempre o risco de uma participao apenas formal, sem
participao efetiva nas decises editoriais.

149

Outra categoria que ganhou ateno por parte dos editores foi Autoria. A
referncia mais recorrente nesse quesito foi a pontuao quanto a diversidade e
reconhecimento do corpo de autores publicado no peridico. Um dos editores,
entretanto, no compartilha dessa idia e afirmou que devem excluir a computao
quanto origem territorial dos artigos (Ed61). Vale salientar que a heterogeneidade de
autores no deve se limitar a vnculos com diferentes instituies e originados de
diversas regies geogrficas, mas tambm quanto postura cientfica dos pesquisadores.
Desta forma, a exogenia estimulada a fim de promover perspectivas diferenciadas
sobre o mesmo fenmeno, possibilitar trocas e permitir renovao de idias.
Se consenso que necessrio cumprir o que preconizado, qual seja, publicar
artigos de vrios autores e de distintas instituies, h discordncia quanto ao peso que
esta varivel deve apresentar. Tomando o exemplo da avaliao para composio da
coleo SciELO Brasil, a revista deve publicar mais de 60% de artigos de autores de
outros estados da federao que no o estado de origem da revista. Caso o peridico no
alcance esse percentual considerado endogenia e o ttulo pode no ser aprovado nessa
avaliao.
Foi levantado tambm que o modelo de avaliao da base Qualis no leva em
considerao a distribuio da produo cientfica do pas: outro ponto que acaba
ficando comprometido em funo da realidade do pas refere-se distribuio da
produo cientfica, uma vez que os manuscritos so, em sua maioria, de autores de um
mesmo plo (o circuito sul/sudeste consideravelmente mais expressivo) (Ed44).
Um dos bibliotecrios concorda com a questo e apontou que o percentual
exigido para pontuao mxima pela avaliao Qualis de Psicologia era muito alto para
ser alcanado pelas revistas, principalmente aquelas situadas no sudeste, onde h maior
concentrao da produo cientfica e acadmica de Psicologia no pas. Quando

150

perguntada sobre a possibilidade de intercmbios com revistas de outros estados, a

bibliotecria respondeu: agora, a questo de publicar trabalhos em outros estados, eu
acho, eu acho timo tambm, voc est divulgando pesquisas de outros lugares, outras
regies esto publicando o que est sendo pesquisado em So Paulo, eu sou totalmente a
favor disso tambm. Mas tambm est muito, eu acho que os 75% acho difcil mesmo
se firmar, mas 50%, eu acho que a revista consegue sim (...) (Bib4).
Que a produo cientfica/acadmica esteja concentrada no eixo sudeste-sul
no um fato novo, j que tambm onde se localiza a maioria dos programas de psgraduao e grupos de pesquisa. Contudo, essa produo no precisa ficar restrita a esse
pblico, pode e deve ser publicada por revistas de outros estados e regies. Afinal, a
divulgao ampla dos achados de pesquisa o objetivo maior da cincia.
Com o advento da Internet, barreiras foram derrubadas, distncias encurtadas e
o tempo de transporte de material diminudo. Na h motivos para no incentivar o
intercmbio de informaes entre os grupos e as regies geogrficas. importante
considerar, contudo, que o padro exigido pela avaliao da Qualis pode no estar de
acordo com a realidade editorial brasileira por outros motivos, como no levar em conta
as dificuldades financeiras das revistas, mas no por desconsiderar a concentrao da
produo.
Com relao a este aspecto, a Comisso de Avaliao de Psicologia mudou os
pesos e a definio desse item ao longo do tempo. Em 2000, os peridicos eram
pontuados em trs categorias referentes a endogenia: aqueles que publicavam, pelo
menos, 75%, 50% ou de 20 a 50% de artigos de autores de duas ou mais Unidades da
Federao (UF). Em 2001, a diversidade de autoria nacional foi avaliada em dois tipos:
a pontuao mxima era atribuda para os peridicos com um mnimo de 75% de
artigos/ensaios originais de autores de duas ou mais UFs e uma pontuao mnima para

151

as revistas que publicavam entre 50% e 74% de artigos/ensaios originais de autores de

duas ou mais UFs. A partir da, devido a muitas reclamaes por parte dos editores, que
consideravam abusiva essa exigncia e uma meta irreal para as revistas nacionais de
Psicologia, na ltima avaliao, realizada em 2005, a endogenia de autoria foi medida
apenas por um item, que pontua a publicao de artigos/ensaios originais de cinco ou
mais instituies, ainda que no mesmo estado.
Ainda em relao a esse critrio, um dos editores reclamou da inexistncia de
um espao que contemple a produo discente da graduao, que no bem vista no
meio acadmico. Ao mesmo tempo em que se atribui prtica o acmulo de experincia
que caracteriza os bons pesquisadores, tambm no se reconhece ou valoriza a produo
de alunos em incio de sua carreira acadmica. Agora, uma vez que um peridico se
proponha a publicar seriamente artigos de alunos, de graduao ou ps-graduao, ele
pode ser bem avaliado levando em conta esta caracterstica, se consagrar como um
importante veculo de comunicao para esse pblico e sem concorrer com os
peridicos de ponta. Essa discusso remete a necessidade de maiores esclarecimentos
sobre a diferenciao entre o que seja, de fato, um peridico cientfico e outras
modalidades de publicaes seriadas, como de divulgao ou tcnicos.
Tambm foi lembrada a quantidade de autores por artigo, referindo-se aos
artigos assinados por dezenas de autores, mas que so precariamente fundamentados. O
que acontece, muitas vezes, a fragmentao de uma pesquisa para ser publicada em
vrios peridicos, prtica rechaada, mas necessria, ao se considerar a demanda por
produtividade que to exigida nos dias atuais.
A Circulao da revista, quanto indexao, as formas de difuso, a
abrangncia e o acesso que a comunidade cientfica tem ao peridico foi apontado por
alguns editores (18%) como relevante para um processo de avaliao. Sem dvida,

152

pouco adianta que a revista publique material relevante e inovador se ela no est
disponvel facilmente para os seus leitores.
Tambm consenso entre os bibliotecrios que a indexao realmente
importante como indicador de qualidade para os peridicos cientficos. Como os
servios de indexao so, em geral, bastante seletivos, as revistas que esto indexadas
so consideradas de alto nvel, uma vez que conseguiram atender aos rgidos critrios de
seleo adotados, ou seja, j passaram pelo crivo do indexador. Ser disponibilizado em
uma base de dados significa ter passado por mais um processo de avaliao, um
indicador de que ela foi aceita por uma outra comunidade, muitas vezes internacional.
E principalmente quanto a esse aspecto que as revistas nacionais apresentam
suas maiores dificuldades. Para figurar em bases de dados internacionais, o idioma
portugus se apresenta como uma barreira, que dificulta a incluso dos ttulos. Ou seja,
que os peridicos inseridos nos bancos de dados tm qualidade, no h muitas dvidas.
Entretanto, o fato de alguns no conseguirem ser indexados no significa que no
tenham esse mesmo nvel de qualidade. Em outras palavras, ser disponibilizado por um
indexador pode (e deve) mesmo ser considerado como um elemento a mais e quanto
maior o nmero de servios aos quais o peridico est indexado, certamente, significa
que a revista tem o recurso do endosso da comunidade cientfica. Mas preciso analisar
o motivo pelo qual as revistas que esto fora desses servios no entraram, se devido
ao no cumprimento de outros critrios das bases de dados que no a qualidade do
contedo.
Por essa razo, nem a indexao garantia de qualidade, tanto por incluso
quanto por excluso de ttulos. Na maioria das vezes os indexadores explicitam os
critrios que utilizam e tm objetivos prprios de seleo que vo alm da questo
qualidade da revista. H crticas ao fato de muitos avaliadores de peridicos, no s

153

dos sistemas nacionais de avaliao cientfica, tomarem o fator indexao como um

indicador de qualidade total, sem levar em conta o critrio de seleo que adotado por
essas bases de dados.
Existem servios cujos critrios esto relacionados a temas que a base de dados
est precisando completar, da incluir ttulos que at no cumprem outros requisitos e
nem apresentam contedo original, mas por publicar artigos do tema esperado pela base.
Ainda h critrios de seleo de bases de dados que so bastante amplos. Em algumas
reas, alm do vis temtico, h um vis geogrfico. Assim, muitas vezes, as avaliaes
de peridicos cientficos acabam punindo revistas que no entraram nessas bases de
dados porque elas no cumpriram esses critrios, considerando-as sem qualidade,
quando, na verdade, elas nem foram avaliadas por no cumprirem um requisito mnimo
que a rea temtica, por exemplo.
Segundo um dos bibliotecrios, atualmente, no basta estar indexado em uma
base de dados, existem os passos a evoluir e o editor de peridico deve estar sempre
buscando o aprimoramento da revista. Hoje, os ttulos comeam tentando ser includos
em uma base de dados local, depois em uma base nacional e, posteriormente, devem
buscar um servio internacional. So as etapas esperados que um editor cumpra e o mais
almejado conseguir ser includo pelas bases de dados do ISI, por ser o nico que
fornece o Fator de Impacto como indicador. Agora, ISI e SciELO (em mbito latinoamericano), so duas referncias para os editores cientficos.
O processo da SciELO foi considerado pelos bibliotecrios o mais completo do
Brasil, atualmente. H um comit formal bem definido, responsvel por todo processo
de avaliao. A avaliao da SciELO evoluiu bastante a cada reunio desse comit e,
em termos de organizao de trabalho, a BIREME vanguarda, j que procede s
classificaes sem pontuao, diferentemente dos outros modelos.

154

Diferentemente dos dois servios anteriormente citados (ISI e SciELO), a base

Sociological Abstracts foi considerada um servio questionvel como indicador de
qualidade. uma base de dados que afirma fazer seleo, mas inclui todos os ttulos que
apresentam a palavra sociologia. Ento, ela no est fazendo uma seleo de qualidade
porque no tem critrios de seleo estrito, que averigua a qualidade dos peridicos
submetidos.
Entre esses dois extremos, foi citada a avaliao da LILACS. Utilizam
basicamente os mesmos critrios presentes na ficha de avaliao da Qualis para
Psicologia, como periodicidade e gesto editorial, mas sem tanta exigncia para os itens
relativos a autoria e a parte de normalizao no tem tanto peso.
A seleo dos ttulos para indexao em servios internacionais reflete, em
grande medida, o grau de qualidade da produo cientfica que circula pela comunidade
cientfica. Com a ajuda da Internet e ampliao da difuso da informao cientfica, os
leitores especializados tornam-se cada vez mais exigentes, fazendo com que vrios
fatores influenciem a aceitao de um peridico em uma base de dados, dependendo do
pblico-alvo, dos propsitos e da comunidade produtora de cincia.
A outra forma de disseminao dos peridicos cientficos a distribuio de
suas colees em bibliotecas, apesar de ser um critrio que est sendo revisto nos
modelos de avaliao mais recentes. um item difcil de averiguar, pois precisa contar
com a sinceridade dos informantes, mas um importante indicativo da circulao do
peridico no meio acadmico, com a identificao do nmero de assinantes, de permuta,
doao e as bibliotecas nas quais est catalogada a revista.
Com o desenvolvimento da tecnologia e a tendncia a pesquisas em banco de
dados eletrnicos, a tiragem (e as formas como ela distribuda) est deixando de ser
considerada. A tese usual de quanto maior a tiragem mais a revista divulgada e

155

maior o seu alcance ao pblico, o que nem sempre verdade. possvel um peridico
ter uma tiragem de mil exemplares e estes ficarem estocados, sem serem distribudos.
Por outro lado, a indexao um critrio que vem sendo cada vez mais valorizado,
considerado um retrato mais fiel da abrangncia dos peridicos. Se for um servio
internacional, a visibilidade adquirida pode superar qualquer tiragem.
Quanto abrangncia dessa circulao, os limites nacionais ou estrangeiros so
questionveis. Segundo um dos editores, (a revista) pode ser muitssimo importante
para o Brasil e no para o exterior e isso suficiente, porque o impacto se dar aqui e
no l (Ed34).
Essa classificao quanto ao mbito das revistas um ponto controverso nas
avaliaes. A questo aparece como aspecto negativo, uma vez que h falta de clareza
na compreenso do que vem a ser uma revista local, nacional e internacional. Um dos
bibliotecrios chamou a ateno que para avaliar peridicos segundo sua cobertura deve
se levar em conta a situao da rea que o peridico se refere. Um exemplo citado por
um dos entrevistados foi o caso das revistas de Fonoaudiologia: como s existem cursos
de ps-graduao em quatro ou cinco estados, se uma revista da rea publica trabalhos e
est distribuda por esses estados, ela j tem a cobertura nacional. Entretanto, revistas de
outras reas precisam cobrir todos os estados brasileiros para serem consideradas de
mbito nacional.
Os trs grupos de consultados levantaram a questo da classificao de
peridicos na categoria internacional. Vale a pena diferenciar, aqui, o que considerado
mbito internacional e padro internacional. O mbito (ou abrangncia) de um peridico
est relacionado a sua distribuio por vrios pases, que pode ser medido pelos servios
aos quais est indexado e se recebe contribuio de autores de outros pases. A
publicao com padro internacional refere-se internacionalizao da produo

156

cientfica especificamente. Segundo Gutirrez e Lpez-Nieva (2001), os aspectos que

caracterizam as revistas cientficas de padro internacional esto relacionados
publicao de artigos avaliados por consultores internacionais e escritos por autores de
vrios pases; composio de uma comisso editorial por membros com reconhecimento
internacional e de diferentes pases de origem; e publicar para uma audincia
internacional e alcanar um alto ndice de impacto (ser citado por trabalhos produzidos
em diversas naes). Porm, poucos so os peridicos que apresentam realmente tal
perfil de padro internacional.
As revistas que pretendem alcanar esse nvel, de padro internacional, tm que
cumprir requisitos que a prpria comunidade cientfica define. No so todos os ttulos
que conseguem cumprir e nem so todas as revistas que tm esse objetivo. necessrio
que existam peridicos que publicam trabalhos de autores que ainda no so
experientes, revistas que tero citao nacional por ser esse seu objetivo. Nas avaliaes
de peridicos importante ressaltar essas diferenciaes, identificar no pas quais so as
linhas editoriais e os objetivos pretendidos pelas revistas.
Essa uma questo que merece maior esclarecimento por parte da Comisso. O
depoimento de um bibliotecrio conduz a discusso da questo: eu acho assim que no
PsycINFO tem mais peridicos indexados, no s (...) um critrio, lgico, voc
estar no PsycINFO, voc tem uma visibilidade internacional mesmo, agora tem de ver
tambm onde mais eles se basearam na literatura, para classificar como internacional
(Bib4).
De fato, a prpria Comisso parece ter dificuldade em justificar os critrios que
alam um peridico de Psicologia para a categoria Internacional, quais sejam, ter sido
classificada como Nacional A por trs avaliaes consecutivas e estar indexada em
base de dados internacional como PsycINFO. De acordo com o pesquisador Com4: Eu

157

discordo profundamente do critrio para chamar de Internacional as nossas nacionais

A. Eu acho que a gente no tem nada que avaliar revista internacional. Prefiro chamlas de estrangeiras e continuar avaliando as nossas revistas nacionais. A inconsistncia
a respeito desses itens e a polmica levantada por muitos editores fizeram com que na
ltima avaliao, empreendida no ano de 2005, esta classificao fosse eliminada e as
revistas brasileiras foram consideradas apenas como mbito Local ou Nacional.
Alm disso, os membros da Comisso fizeram algumas sugestes quanto a isso, como o
levantamento de condies para que uma revista cientfica seja considerada Nacional,
tais como estar relacionada a alguma sociedade cientfica nacional ou estrangeira, estar
vinculada a algum rgo de representao nacional ou a alguma editora ou rgo de
imprensa de mbito nacional, ou ainda a algum Programa de Ps-Graduao stricto
sensu.
Os

critrios

atualmente

utilizados

pela

Comisso

de

Avaliao

CAPES/ANPEPP tambm foram lembrados, com indicao de que necessrio fazer

alguns ajustes, como explicitado aqui: alm dos existentes, talvez utilizar alguns
ndices de citaes e longevidade dos artigos (Ed46). Outra necessidade conceituar
melhor cada item utilizado a fim de facilitar a compreenso por parte dos editores: Os
critrios atuais (2004) propostos pela Comisso CAPES/ANPEPP parecem relevantes,
mas merecem um aprimoramento na sua operacionalizao (definio), pois em
algumas ocasies geram dvidas (Ed56).
Excludos os cinco editores cujas respostas no diziam respeito ao
questionamento, todos indicaram critrios de avaliao de peridicos cientficos
consagrados no meio da editorao, o que pode indicar a sintonia com relao s
discusses atuais em torno do tema.

158

7. Efeitos das avaliaes e mudanas percebidas no quadro editorial

As avaliaes de peridicos cientficos de Psicologia surtiram significativos
efeitos tanto para a comunidade cientfica quanto para os prprios ttulos avaliados. Tais
mudanas foram um aspecto bastante comentado pelos trs grupos de participantes da
pesquisa. Como j apontado anteriormente, fato que existem outras instituies que j
realizavam essas classificaes. No entanto, o processo empreendido pela CAPES para
subsidiar os programas de ps-graduao e composio da base Qualis foi a avaliao
que teve grande impacto para todos os envolvidos com a publicao das revistas
cientficas da rea.
Mais uma vez, no houve homogeneidade entre as respostas dos editores,
quando questionados sobre tais conseqncias e transformaes, conforme demonstrado
na Tabela 7.
Tabela 7
Mudanas percebidas nas revistas de Psicologia decorrentes da base Qualis
Mudanas percebidas

Editores

Comisso de Avaliao

Melhoria na qualidade das revistas

12

31

05

71

Avaliao qualitativa versus normalizao

07

18

Aumento da preocupao dos editores

06

16

02

28

Grande hiato entre as revistas

05

13

Estabelecimento de parmetros

05

13

04

57

Unio entre os profissionais envolvidos

02

05

01

14

Revistas com nmeros temticos

01

03

No h / No respondeu / No sabe

07

18

Total de respondentes

38

07

* Mltiplas respostas admitidas.ggggggggggggggggggggggggggggggggggggggggggggg

159

Dentre as respostas mais gerais, houve tanto colocaes positivas, como

destacam esses editores: (as mudanas so) perceptveis a olho nu (Ed47), positivas,
no resta dvidas (Ed27), assim como afirmaes negativas, como no percebi at o
momento (Ed72).
Para essa discusso, sero tambm considerados os aspectos positivos
mencionados pelos editores e pelos membros da Comisso de Avaliao nos
questionrios da pesquisa. A Tabela 8 apresenta esses dados.

Tabela 8
Aspectos positivos da avaliao para a base Qualis
Editores

Comisso de Avaliao

Aspectos positivos
N

Estabelece parmetros

10

26

03

43

Melhoria na qualidade dos peridicos

08

21

06

86

Os critrios utilizados

06

16

Desempenho da Comisso de Avaliao

02

05

Especializao das revistas

02

05

Quadro objetivo dos peridicos

01

03

01

14

Controle maior da formalizao das revistas

02

28

Debate pblico

01

14

No respondeu / No sabe / Resposta prejudicada

13

34

Total de respondentes

38

07

* Mltiplas respostas admitidas.

160

Alm dos pontos positivos indicados pelos respondentes, foi solicitado que
apontassem os problemas percebidos em torno da avaliao de peridicos da Qualis da
rea de Psicologia.
Como demonstrado nas Tabelas 8 e 9, tanto editores quanto membros da
Comisso de Avaliao encontraram-se bastante divididos apesar de terem sido
mencionados aspectos comuns aos dois grupos de respondentes.

Tabela 9
Aspectos negativos da avaliao para a base Qualis
Editores

Comisso de Avaliao

Aspectos negativos
N

Critrios utilizados

10

26

01

14

Padro exigido distante da realidade brasileira

06

16

Uniformizao das revistas

06

16

03

43

Concentrao em aspectos formais

05

13

01

14

Desperta a concorrncia

04

10

02

28

No educativo

03

08

Classificao quanto ao mbito

01

14

Falta divulgao dos resultados

01

03

No h uma avaliao de fato

01

03

01

14

No respondeu / No sabe / Resposta prejudicada

08

21

01

14

Total de respondentes

38

07

* Mltiplas respostas admitidas.

O conjunto de dados expostos nessas trs tabelas (7, 8 e 9) representa as
principais implicaes (efeitos e mudanas) das avaliaes Qualis identificadas pelos
respondentes. Tais informaes foram agrupadas em quatro categorias de anlise:
melhoria na qualidade das revistas cientficas da rea, concorrncia gerada entre os

161

ttulos e os editores, o estabelecimento de parmetros e a promoo de debate pblico

sobre o processo de produo e avaliao dos ttulos.

7.1. As revistas melhoraram substancialmente

A melhoria na qualidade dos peridicos cientficos de Psicologia foi a categoria
mais recorrente entre as principais mudanas apontadas pelos editores (representando
quase um tero dos respondentes). Estes apontaram que a avaliao promoveu a
visibilidade dos peridicos, obrigou os editores a um constante aperfeioamento das
revistas que editam e incentivou a insero da produo num frum internacional. Alm
disso, a boa classificao na avaliao para a base Qualis significa um crescimento
considervel no nmero de artigos submetidos, o que leva revista a possibilidade de
selecionar apenas os artigos que mais se alinhem a sua proposta editorial. Percebe-se,
assim, um alto ndice de editores que atribuem s avaliaes da Qualis os crditos por
um incremento na publicao de peridicos cientficos de Psicologia. Isso leva a afirmar
que, a despeito dos aspectos negativos das avaliaes, elas provocaram um avano nas
revistas da rea e se trata de uma providncia til e necessria.
Sem dvida, o ranking apresentado desde a primeira avaliao da Comisso
CAPES/ANPEPP despertou os editores e passou a existir uma cultura de preocupao
com a manuteno e aprimoramento dos ttulos, o que resultou em expressivo
incremento das publicaes. A avaliao provocou os editores no sentido de fazer
perceber que a editorao de um peridico cientfico vai alm da reunio de um
conjunto de artigos, necessrio ateno para muitos aspectos que podem comprometer
a publicao. Esse cuidado se reflete no s quanto aos aspectos formais e de
padronizao, mas tambm em relao qualidade dos peridicos de uma forma geral.

162

Como j mencionado, os editores se viram obrigados a adequar os ttulos

avaliao a fim de obter uma boa classificao e no se prejudicar com baixo conceito,
demonstrando interesse em atender aos critrios estabelecidos pelas Comisses de
Avaliao. Os pontos mais citados na categoria aumento da preocupao dos editores
foram o esforo pela regularidade das revistas, o aumento da periodicidade, a busca pela
indexao, a composio de conselhos editorias significativos, a melhoria na
distribuio e divulgao das revistas e a abertura das revistas a autores de outras
instituies. De acordo com o avaliador Com1: Os editores dos peridicos, em sua
grande maioria, souberam se valer dos critrios estabelecidos pelos avaliadores para
promover alteraes em vrios aspectos das publicaes sob sua responsabilidade para
torn-las mais criteriosas e mais confiveis.
Esses ganhos apontados pelos editores so percebidos tambm por outras
instncias e podem ser visualizados por indicadores objetivos, como a disponibilidade
nas bibliotecas, maior participao dos editores em congressos voltados para a temtica
da publicao cientfica e indexao das revistas em bases de dados internacionais. A
prpria Comisso de Avaliao aponta, em artigos e em eventos da rea, a melhoria das
revistas, demonstrando os avanos alcanados entre uma avaliao e outra. De acordo
com alguns pesquisadores da referida Comisso, os maiores ganhos da avaliao, no
entanto, foram em relao ao aumento da visibilidade, do cumprimento de normas de
padronizao e melhoria da apresentao e esttica, o que possibilitou s revistas
ganharem em qualidade e credibilidade. importante ressaltar que tais avanos esto,
tambm, vinculados ao crescimento da rea, principalmente no que refere a expanso da
ps-graduao.
Uma opinio contrria predominante de um dos editores, que comentou que
muitas das mudanas percebidas nas revistas se devem mais s exigncias dos

163

indexadores do que apenas base Qualis. Contudo, h de se considerar que as

avaliaes da Qualis potencializaram nos editores o reconhecimento da necessidade e
interesse por indexao de suas revistas (Hutz, 2000; Sampaio, 2002; Yamamoto et al.,
2002).
Alis, para os bibliotecrios, um dos itens que obteve maior resolutividade foi a
indexao. Segundo um dos entrevistados, muitos editores at desconheciam a
importncia da incluso dos peridicos em bases de dados, e, a partir das avaliaes
Qualis, passaram a se preocupar com essa questo, gerando crescimento no nmero de
ttulos indexados. De acordo com esses profissionais, a avaliao de peridicos
cientficos de Psicologia tambm promoveu a qualidade da apresentao das revistas, no
que se refere parte tcnica de normalizao. Pela anlise do instrumento utilizado, no
possvel aferir diretamente a qualidade do contedo que veiculado, mas em relao
aos aspectos de apresentao, padronizao e normalizao, os processos de
classificao empreendidos pela CAPES promoveram um salto qualitativo sem
medidas.
Essas duas contribuies da avaliao em questo estmulo indexao e
promoo da padronizao ficaram evidentes nas entrevistas com os bibliotecrios e
so os dois aspectos mais salientados. O seguinte depoimento ilustrativo: muitos
editores comearam a se preocupar com a qualidade e com a indexao que at ento
no se tinha essa preocupao. Com a qualidade sim, mas essa questo de normalizar,
de estar indexado em uma base de dados, foi a avaliao mesmo, que fez com que os
editores ficassem preocupados com isso e conseguisse melhorar as revistas (Bib4).
Na verdade, adequar os ttulos aos critrios exigidos pelo instrumento no
tarefa difcil. Foi preciso apenas a sinalizao do que esperado e os editores buscaram
atender a essas exigncias. Esse cenrio comum aos outros ttulos da publicao

164

cientfica nacional: as revistas esto conseguindo ser publicadas segundo os parmetros

de um peridico cientifico, esto sendo veiculadas de acordo com o padro esperado.
Uma vez alcanado esse padro, surgem as novas exigncias, os novos parmetros a
serem alcanados. E, segundo um dos entrevistados, a etapa seguinte a ser atingida o
impacto, conseguir se destacar na comunidade cientfica pelo contedo e ser citado
pelos pares da academia.
Os membros da Comisso de Avaliao de Psicologia tambm concordam que
o processo qualificou as revistas, deixando explcito a partir dos seguintes depoimentos:
a mudana que houve nas revistas foi um senhor sucesso (Com4), trouxe mudanas
fundamentais (Com6) e as revistas melhoraram substancialmente (Com1).
Entretanto, posicionamento generalizado entre os participantes da pesquisa
que, a despeito dessa melhoria da qualidade das revistas, preciso atualizar o
instrumento a fim de contemplar outros aspectos no que diz respeito qualidade de
peridicos cientficos. No resta dvidas de que do cenrio anterior primeira avaliao
da base Qualis para o quadro atual, o salto qualitativo que os ttulos cientficos de
Psicologia experienciaram foi imenso e indito. Contudo, em relao aos dois ltimos
processos de classificao, no se pode perceber tantos avanos, fruto de um
instrumento esgotado e ultrapassado.
Ademais, de acordo com o ltimo ranking apresentado, os prprios membros
da Comisso de Avaliao reconhecem que a ficha de avaliao no est mais sendo
capaz de fazer uma diferenciao entre os ttulos, o que explica a classificao de quase
60% dos peridicos com conceito A e mais de 75% com mbito Nacional, na ltima
avaliao.
Com isso, o que est sendo sinalizado que a avaliao CAPES/ANPEPP
provocou importantes melhorias nas revistas de Psicologia, mas que tais mudanas tm

165

um limite de alcance. Uma vez atingido este nvel de qualidade, os diferenciais

apresentados por cada peridico cientfico passam a no mais ser identificados e
avaliados pelo processo da base Qualis.

7.2. Parmetros para publicao em Psicologia

Em consonncia com o que foi comentado na sesso anterior, a uniformizao
das revistas foi citada pelos editores como uma das conseqncias das avaliaes da
base Qualis. Este ponto outro aspecto paradoxal para os respondentes: se por um lado,
indispensvel a padronizao dos peridicos para tornar possvel a circulao de
informaes entre a comunidade cientfica, por outro lado essa padronizao pode gerar
perfis muito semelhantes entre as revistas e limitar a diversidade.
A sinalizao de modelos-padro e a uniformizao das revistas so essenciais
para a comunicao entre uma rea de conhecimento e entre esta e as demais, uma vez
que facilita e agiliza o acesso e recuperao das informaes disponveis, mesmo diante
do crescente volume de informaes. Ou seja, a padronizao dos peridicos cientficos
est relacionada efetivao do objetivo desses veculos, qual seja, disseminar a
produo cientfica entre a comunidade de pesquisadores e contribuir para o avano do
conhecimento. No h dvidas de que essas avaliaes da CAPES em conjunto com a
ANPEPP tiveram sua contribuio para a comunidade cientfica de Psicologia,
facilitando o dilogo e intercmbio de idias. Como aponta um dos editores, tem
havido um cuidado maior com certos aspectos formais, que so importantes porque
facilitam as citaes, como as legendas bibliogrficas, por exemplo (Ed45).
Alm de facilitar o dilogo entre a comunidade cientfica, a padronizao dos
ttulos facilita a tomada de decises, tanto para os editores, quanto para os leitores e
autores. Primeiro, os editores conheceram um padro de exigncia para qualidade

166

cientfica e receberam informao sobre o que esperado dos peridicos cientficos.

Quanto aos autores potenciais e leitores, agora tm mais dados sobre os ttulos mais
adequados para submisso de seus trabalhos e/ou assinatura. Alm disso, os resultados
da base Qualis permitiram melhoria na qualidade da avaliao dos cursos pela CAPES e
a avaliao da produtividade dos pesquisadores pelo CNPq e FAPs.
fato que antes da avaliao Qualis as revistas j passavam por outros
processos, como indexadores e agncias de fomento, mas foram os critrios das
avaliaes para a CAPES que passaram a figurar como parmetro para os pesquisadores
das diversas reas do conhecimento. Sem dvida, foi a avaliao Qualis que atingiu uma
ampla dimenso e alcanou um grande pblico, servindo de orientao sobre publicao
de peridicos cientficos de qualidade. Os rankings estabelecidos a partir dos resultados
obtidos so apresentados com tamanha objetividade que permitem reunir uma srie de
informaes sobre todos os peridicos nacionais e divulgar aos usurios um quadro
comparativo que at ento inexistia. Os pesquisadores que realizam a avaliao
salientam esse ganho da avaliao: (como aspecto positivo), o prprio resultado da
avaliao, uma vez que a qualificao dos peridicos tornou possvel a realizao de
aferies mais precisas e menos subjetivas da qualidade da produo dos vrios
Programas (Com7).
Mas no s benefcios foram trazidos pela padronizao. Os participantes da
pesquisa tambm apontaram distores, como no caso de revistas que priorizam a
diversidade em relao diviso de contedo. De acordo com alguns editores, no
abrimos mo, por exemplo, de (editar) um nmero (do peridico) a partir do resgate da
teoria via debates, relatos de experincia, testemunhos (...) (Ed81).
Em contraposio a essa idia, os bibliotecrios foram unnimes ao conferir
peso maior para publicao de artigos originais. De acordo com a literatura, um

167

peridico considerado importante quando publica grande parte de seu material sob a
forma de artigos originais. Porm, no caso das revistas da rea de Humanas, os ensaios
tambm so considerados trabalhos relevantes, e, portanto, devem ser valorizados nas
avaliaes tambm. A despeito dessa importncia atribuda pelos especialistas em
Cincias da Informao publicao de uma maior proporo de artigos inditos, a
variedade da produo uma caracterstica de muitos peridicos cientficos de
Psicologia. Ao serem penalizados nas avaliaes por no cumprirem essa exigncia, se
sentem injustiados e consideram a pontuao arbitrria.
Essa excessiva padronizao se torna potencialmente mais grave tratando-se de
revistas de subreas menos representadas no cenrio cientfico. Neste caso, as subreas
com comunidades cientficas restritas ou subreas dedicadas a um mtodo especfico de
trabalho ou de atuao so prejudicadas por no atenderem aos critrios que so padro
a todas as reas. Segundo um dos editores, a avaliao formal deveria fazer uma
distino entre as reas, suas dinmicas e especificidades (Ed35). E um membro da
Comisso corrobora: (um aspecto negativo) que homogeneizou as revistas, tentou
imprimir um parmetro e acabou perdendo as especificidades de algumas revistas.
Outra resposta que surgiu como aspecto negativo da uniformizao dos ttulos
que o processo de avaliao para composio da classificao Qualis no educativo e
no indica para o editor os pontos mal avaliados relativos revista. Tal opinio destoa
de uma afirmao reiteradamente feita desde o inicio dos trabalhos pela Comisso de
Avaliao de que o processo a ser empreendido tinha esse carter educativo, de
estabelecer parmetros e apontar para a comunidade cientfica as caractersticas que
devem ser seguidas para um bom peridico cientfico.
Desde as primeiras avaliaes de peridicos em todas as reas h uma grande
agitao entre a comunidade cientfica relativa aos aspectos de normalizao. Como as

168

revistas, em sua maioria, no conheciam os padres de forma, a falta de uniformizao

dos ttulos apareceu nos resultados, comprometendo a situao de muitos peridicos
reconhecidos pela qualidade do contedo. Como afirmou um dos bibliotecrios
entrevistados: a primeira vez que a gente fez essa anlise eles (os editores)
bombardearam, porque a maioria das revistas, daqueles que estavam l, no atendiam
as partes de normalizao e eles fizeram desconsiderar, foi uma coisa muito
desagradvel (Bib1).
Editores e pesquisadores vinculados h mais tempo academia no entendiam a
importncia da normalizao e no tomavam os devidos cuidados com os seus
peridicos. Foi a partir disso que se iniciou um processo educativo, cursos e consultorias
sobre aspectos de padronizao dos peridicos, ou seja, com as avaliaes, os
envolvidos passaram a se preocupar com essas questes. Os membros da Comisso que
foram consultados para esta pesquisa acreditam que o resultado pedaggico um dos
principais aspectos positivos e que foi realmente capturado pela comunidade.
Na verdade, para se efetivar esse propsito educativo, deve existir um
movimento em via dupla: tanto a avaliao promover a conscientizao dos editores
para os aspectos falhos de seus peridicos quanto os editores se disponibilizarem a
aprender com as avaliaes. Como bem aponta um dos respondentes, outro aspecto
negativo (...) a prpria resistncia e, em alguns casos, a incompreenso sobre o
processo de avaliao demonstrada pela categoria. Penso, todavia, que se colocadas (a
resistncia, a incompreenso e coisas do gnero) em debate pode resultar em benefcios
para o processo, caso contrrio desgastes inteis podem ser resultante (Ed47).

169

7.3. O ciclo vicioso que prende as revistas cientficas

Um dos efeitos mais drsticos da avaliao no foi esquecido: quatro editores
enfatizaram o despertar da concorrncia como um dos aspectos negativos da base
Qualis. Os seguintes depoimentos esclarecem a questo: acredito que a no incluso de
um peridico no Qualis pode diminuir o interesse de pesquisadores em publicar no
peridico. Por outro lado, a incluso e a boa classificao significam um aumento
importante no nmero de artigos submetidos (Ed55) e os peridicos que no so
conceito A ou B esto condenados a desaparecer, pois tm muita dificuldade em superar
a avaliao. O nmero de submisses diminui, pois todo pesquisador quer publicar em
revistas A e B (Ed23). E a Comisso completa: outro aspecto negativo que no citei
antes o ranqueamento e o aumento da competio entre peridicos, pesquisadores e
programas de ps, burocratizando a produo a partir de critrios excessivamente
produtivistas (Com5).
A dinmica provocada pelos resultados das avaliaes implica o aumento do
hiato entre as revistas consideradas muito boas e aquelas nem tanto. Os peridicos
cientficos classificados como Nacional A, por exemplo, se tornam bem vistos pela
comunidade cientfica e passam a receber artigos de pesquisadores renomados da rea,
elevando ainda mais o padro de qualidade dessa revista. J as revistas avaliadas como
de mbito Local, ou com conceito C, sofrem com o decrscimo de artigos submetidos,
com a perda de financiamentos e vo tendo cada vez mais dificuldades para se manterem
e superarem o conceito recebido na avaliao. O que os editores afirmam que foi
criada uma lacuna entre as revistas bem conceituadas e aquelas que se saram mal nas
avaliaes, lacuna esta que parece instransponvel, uma vez que a tendncia as
melhores ficarem cada vez melhores e as mal avaliadas lutarem para conseguir se
manter.

170

Na rea de publicao cientfica essa uma evidncia clara do Princpio de

Mateus, postulado em referncia passagem do evangelho de So Mateus que diz:
queles que tm, mais ainda lhes ser dado e aos que pouco tm, ainda este pouco lhes
ser tirado (Mueller, 1999, p. 5). Com os resultados das avaliaes, percebe-se uma
busca dos autores pelas revistas bem conceituadas, ou seja, se um peridico bem
conceituado, ele procurado pela comunidade cientfica. J os novos peridicos e os
mal avaliados batalham por bons autores, sem muito sucesso.
Na verdade, as prprias revistas bem classificadas acabam se prejudicando com
o decorrer do tempo: com um bom conceito e conseqente crescimento de submisses, a
revista demandar mais tempo para gerenciamento e tramitao, o que pode levar a
atrasos e, talvez, perda da qualidade. Ou seja, essa avaliao faz com que cada revista
tenha que desenvolver estratgias para lidar com as conseqncias indesejveis, a fim de
no sucumbir e se esgotar.
Alm dessa dinmica colocada entre as revistas bem e mal classificadas, um dos
editores criticou a avaliao por manter sempre um pequeno nmero de revistas com
bons conceitos, uma vez que o patamar de exigncia est continuamente se elevando:
No concordo com a correo que costuma ser feita pelos avaliadores quando o nmero
de revistas bem colocadas aumenta. No vejo razo para manter um nmero pequeno de
boas revistas. Se o nmero de boas revistas aumenta, aumenta a qualidade da produo
cientfica do pas (Ed18).
A idia de elevar o padro de qualidade nas avaliaes pretende manter os
peridicos em constante aprimoramento e ter sempre um objetivo a ser alcanado, j que
no existe um nvel de qualidade esttico, ou seja, estar em um ltimo estgio e no
precisar de aperfeioamento. Uma vez que todas as revistas atingem um certo patamar
de qualidade e conseguem ultrapassar os parmetros estabelecidos, esse parmetro

171

necessariamente se eleva, se torna mais exigente. O objetivo dessas avaliaes tambm

estimular os peridicos a buscarem sempre uma melhoria contnua de qualidade, tentar
que as revistas no fiquem estagnadas, esgotadas.
Isso conduz a outro aspecto, desta vez apontado pelos bibliotecrios: a
necessidade de controle da proliferao das revistas cientficas. Durante um
determinado perodo, a CAPES estimulou, indiretamente, a criao de revistas pelos
cursos de ps-graduao, uma vez que publicar uma revista cientfica vinculada ao
programa significava maior pontuao. Isso resultou em uma infinidade de ttulos
cientficos que hoje esto envolvidos em uma grande competio nesse mercado.
comum na literatura encontrar material sobre o ciclo vicioso que prende os peridicos
nacionais: quanto maior financiamento, mais a revista recebe e publica artigos de
qualidade e quanto mais qualidade, maior chance de bons financiamentos.
Em relao a essa questo, existem duas deliberaes primordiais que
poderiam ser tomadas. A primeira delas refere-se ao controle quanto ao surgimento de
novas revistas. Isso poderia ser feito por algum rgo ligado a peridicos cientficos,
como ABEC ou IBICT, por meio de uma anlise das revistas existentes e a viabilidade
de criao de novos ttulos voltados para um determinado contexto. A outra alternativa
a fuso de revistas que esto mais fragilizadas no mercado. Segundo dois dos
bibliotecrios entrevistados, a unio entre revistas que apresentam polticas editoriais
semelhantes uma idia atual e crescente. Uma vez que a quantidade de revistas
existente atualmente considerada desnecessria, a tendncia chegar a um nmero
mais reduzido de peridicos, seja por meio do fim de algumas revistas, seja por meio de
fuses e associaes.
Alm disso, a comunidade acadmica precisa estar preparada para o fato de que
nem todas as revistas podem ter o melhor conceito, sempre existe um ranking. Um

172

peridico pode ser muito bom para um determinado nicho no mercado cientfico,
mesmo sem ser o melhor entre todos os peridicos. Uma grande dificuldade encontrada
hoje em dia que algumas revistas, por no serem avaliadas como as mais importantes,
acabam deixando de cumprir um objetivo intermedirio com sucesso, deixa de atender a
um pblico que poderia conquistar.
Assim, percebe-se que nem a rea de publicao cientfica foge competio
de mercado. Segundo o bibliotecrio Bib2, os peridicos tm que buscar serem criativos
o suficiente ou mostrar vantagens para os pesquisadores submeterem seus trabalhos,
levando a revista a conseguir publicar os melhores trabalhos e conquistar um pblico
definido.
Dentre o conjunto de estratgias que uma revista pode adotar para melhorar sua
divulgao e se tornar reconhecida na comunidade internacional, so consideradas as
mais promissoras, pelos bibliotecrios entrevistados, o estabelecimento de parcerias,
recebimento de colaborao de outras revistas de maior impacto e a busca por
publicaes afins em outros pases. O editor deve buscar que sua revista seja citada mais
freqentemente

ao

investir

no

marketing

do

peridico,

de

preferncia

internacionalmente, uma vez que quanto mais autores de outros pases publicando em
uma revista, seja em artigos em co-autoria, seja porque decidiram submeter os trabalhos
a esses ttulos, essa revista automaticamente vai adquirindo um maior status
internacional.
Alm de melhorar o aspecto da divulgao internacional, esperado que as
revistas tenham um diferencial, como a especializao temtica. De acordo com os
bibliotecrios, o estmulo especializao , cada vez mais, uma realidade nacional e a
ABEC tem como proposta que sejam criadas revistas em reas carentes de ttulos
especializados.

173

Nesse sentido, os editores valorizam a avaliao Qualis, afirmando que a

iniciativa proporcionou a publicao de nmeros temticos, promovendo maior
diversificao de temas publicados nas revistas. No se pode atribuir avaliao da
Qualis a exclusividade pelo estmulo tematizao de revistas consideradas
generalistas, mas o que se percebe atualmente maior freqncia de fascculos
publicados com sesses especiais, dossis, nmeros temticos e por editores convidados
para publicarem sobre uma determinada sub-rea. Talvez esse seja um passo inicial em
direo especializao dos peridicos cientficos de Psicologia.
As revistas especializadas em uma temtica ou em uma rea especfica de
atuao representam uma tendncia no cenrio da publicao cientfica. fato que
algumas revistas internacionais de grande impacto so gerais (ou ainda, gerais em
relao a uma rea do conhecimento), mas as vantagens de um peridico especializado
so vrias: mais facilidade para se tornar referncia no tema no pas ou em mbito
internacional, pblico-alvo bem definido, diminuio da concorrncia, orientao para
os autores no momento de escolha de um ttulo para submisso de seus trabalhos, entre
outros fatores.
Apesar desses benefcios, existem algumas desvantagens que fazem com que
haja resistncia entre a comunidade cientfica para abandonar o modelo generalista,
tradicional, e investir em novas estratgias, tais como restrio a um pblico muito
especfico o que dificulta a socializao das novas descobertas para os outros campos
dentro da prpria rea, diminuio na quantidade de artigos ou insuficincia para a
publicao com periodicidade mais freqente, dificuldade de compor um quadro amplo
de especialistas qualificados na temtica, etc.

174

7.4. Comunidade acadmica/cientfica: interao e mobilizao

A reunio de diversos profissionais da rea em torno desse sistema de avaliao
foi uma conseqncia desejvel, segundo os editores: houve uma valorizao da
qualidade editorial dos peridicos e uma mobilizao para a indexao e para a
editorao cientfica, culminando com a criao da BVS-Psi e da Associao Brasileira
de Editores de Psicologia, em So Paulo (Ed34).
De fato, as avaliaes de peridicos cientficos provocaram uma mobilizao
em torno da questo, promovendo eventos e encontros desses editores e da Comisso de
Avaliao, permitindo a troca de experincias e opinies a respeito das publicaes. A
ABECiP e a Biblioteca Virtual de Psicologia surgiram nesse contexto, de preocupao
com a produo cientfica da rea e sua divulgao. Os efeitos da avaliao da base
Qualis foram alm da classificao dos peridicos de Psicologia, geraram oportunidades
para a discusso do assunto e fortalecimento da rea.
No foi incomum entre os depoimentos dos membros da Comisso que um
aspecto positivo importante foi o debate pblico sobre a produo dos peridicos que
pouco se discutia anteriormente, ou seja, que as revistas se tornaram objeto de reflexo
pblica o que acarretou uma melhor compreenso do uso dos peridicos e das formas de
sua produo. A avaliao Qualis acabou sendo uma referncia para a comunidade
acadmica, passou a ser uma preocupao de editores, professores e at de alunos,
principalmente de ps-graduao. Os pesquisadores mais renomados, dependendo da
rea, j procuram publicar em revistas de grande divulgao, principalmente
internacionais ou se esto catalogadas na SciELO, objetivando alcanar a maior
visibilidade possvel. Tambm existem alguns programas de ps-graduao de
Psicologia que oferecem disciplinas sobre normalizao de documentos, publicao em

175

peridicos cientficos, avaliao de revistas, fruto do interesse dos alunos como futuros
autores que querem conhecer a qualidade dos veculos para escolher onde publicar.
Apesar desse efeito, os editores apontaram que ainda preciso maior interao
entre eles e a Comisso de Avaliao. Esta comunicao precisa acontecer no s para
divulgao dos resultados, que foi descrita como falha. A apresentao do ranking final
existe atualmente, embora no de forma to ampla como nas primeiras avaliaes, que
foram discutidas em eventos cientficos, por meio de correspondncia a cada um dos
editores, com a publicao de artigos e disponvel em pginas na Internet. Hoje, a
divulgao do processo de avaliao e dos resultados dos peridicos brasileiros de
Psicologia acontece pelos sites da ANPEPP e da CAPES, onde so veiculadas tambm
as classificaes conduzidas pelas diversas reas do conhecimento.
No h dvidas de que as avaliaes de peridicos empreendidas pela CAPES,
em articulao com a ANPEPP, tomou uma dimenso muito ampla e grande
repercusso na comunidade cientfica de Psicologia. Antes desses processos, no havia
tanta preocupao em relao qualidade dos peridicos e, atualmente, todos os
envolvidos com pesquisa se interessam pelos conceitos recebidos pelas revistas.

176

8. Base de dados Qualis: produo acadmica retratada em conceitos?

A partir do levantamento bibliogrfico e da discusso dos resultados, faz-se
necessrio tecer algumas consideraes sobre o objeto da pesquisa. Para empreender tal
tarefa, a anlise partir de pontos mais especficos para aqueles mais gerais: primeiro,
sero retomados os principais aspectos encontrados na pesquisa para contextualizao
em relao ao conjunto do processo de avaliao de peridicos e, em seguida, toma-se
esse modelo de avaliao Qualis para discusso sobre o seu papel no cenrio mais
amplo da produo cientfica. Ainda, ao final, feita uma avaliao geral sobre esta
pesquisa, so apontados os avanos e as dificuldades do trabalho e sugeridas
possibilidades de pesquisas futuras.
Os principais pontos emergentes do levantamento junto aos editores de revistas
de Psicologia, bibliotecrios experientes em avaliao de peridicos cientficos e
membros das Comisses de Avaliao CAPES/ANPEPP so a adequao da avaliao
para base de dados Qualis, a composio da Comisso de Avaliao, os procedimentos
adotados na rea de Psicologia, os critrios e instrumento de avaliao e os efeitos
decorrentes dos processos avaliativos de peridicos cientficos de Psicologia.
O primeiro aspecto a ser retomado diz respeito viabilidade do modelo de
avaliao da Qualis em retratar adequadamente a realidade dos peridicos cientficos da
rea e se esta atende aos objetivos aos quais se prope. Percebeu-se que h divergncia
entre os trs grupos de respondentes em relao a este ponto, havendo tambm
discordncia dentro de cada grupo consultado. Os editores so a categoria que mais se
dividem, basicamente entre apoio iniciativa e crticas severas ao processo. Entre esses
dois extremos, encontram-se aqueles que ressaltam a importncia deste tipo de prtica, a
despeito das falhas existentes. Os bibliotecrios consultados foram o grupo mais

177

homogneo, valorizando este processo de avaliao da Psicologia, pontuando os

aspectos positivos e as alternativas para o aprimoramento do modelo. J os membros
que participaram ou participam da Comisso de Avaliao tambm foram mais
enfticos no que diz respeito aos ganhos obtidos com a iniciativa e sua adequao ao
objetivo a que se prope. Quanto a isso, apenas um dos respondentes desse grupo foi
taxativo ao afirmar que a base de dados Qualis alcanou tal dimenso, que necessita
revisar seus propsitos e oferecer um trabalho mais substancial comunidade cientfica,
uma vez que da forma como vem sendo desenvolvida, a atividade encontra dificuldades
em diferenciar os ttulos quanto sua qualidade.
Em relao ao alcance dos objetivos, verdade que, em Psicologia, o papel
atribudo aos rankings alcanados pela avaliao de peridicos da Qualis pela
comunidade cientfica desproporcional em relao ao seu escopo original.
Considerando o objetivo primordial de tal avaliao, este se situa em trs pontos
centrais: qualificao dos peridicos cientficos onde est publicada a produo dos
programas de ps-graduao da rea, criao de mecanismos voltados manuteno dos
peridicos melhor conceituados e estabelecimento de parmetros para melhoria da
qualidade dos ttulos da rea.
Com exceo do segundo ponto, que at ento no foi operacionalizado, podese afirmar que a Comisso de Avaliao CAPES/ANPEPP atendeu aos objetivos
estipulados. Os peridicos cientficos esto sendo classificados continuamente, desde a
primeira edio e os editores, agora, so capazes de visualizar os parmetros exigidos
para os ttulos da rea. Quanto a esse aspecto, os respondentes da pesquisa foram
contundentes e deixaram explcito que endossam essa posio. Tanto editores quanto
bibliotecrios e membros das Comisses de Avaliaes apontam a sinalizao de

178

parmetros como um dos principais ganhos alcanados a partir da classificao de

peridicos.
Contudo, na esteira dessas metas, outros efeitos foram obtidos e se fazem
presentes na comunidade cientfica de Psicologia atualmente. O mais intenso, talvez,
seja a adoo de tais resultados em vrios contextos, absorvendo o ranking que objetiva
qualificar a produo dos programas de ps-graduao para outras finalidades, inclusive
como retrato da produo cientfica da rea.
O ponto seguinte relaciona-se composio das equipes que desempenham
papel de avaliadores dos peridicos. Para tanto, preciso considerar que para eleger
membros que possam participar de um comit avaliador de revistas cientficas, deve-se
levar em conta dois aspectos centrais: a competncia para desenvolvimento da atividade
e a iseno na atribuio dos resultados.
A competncia pode ser julgada pela experincia em publicao e, mais
especificamente, em editorao cientfica e tambm amplo domnio da rea de
conhecimento em que est inserido. Como a maioria dos ttulos de Psicologia ainda so
generalistas, so poucos os pesquisadores que poderiam responder sobre o quadro da
produo cientfica da rea de forma efetiva, conhecendo os avanos e as demandas
vigentes em cada sub-rea.
Com relao iseno necessria, sabe-se que a total imparcialidade desejvel
impossvel de ser alcanada. Entretanto, o que deve estar em jogo a neutralidade no
que diz respeito a no beneficiar algum ttulo em detrimento de outros e o interesse
maior em um resultado justo e real para todas as partes. Independente de sua vinculao
institucional ou pessoal, o avaliador deve buscar apresentar dados confiveis e
resguardar, acima de tudo, o seu profissionalismo e tica para com seus pares.

179

Um percentual significativo de editores que participou da pesquisa (95% das

respostas) apontou que quem deve empreender tal avaliao de peridicos so os atores
vinculados publicao, as instituies voltadas s polticas cientficas e entidades da
Psicologia interessadas no progresso da rea. Analisando-se a composio da atual
Comisso, verifica-se que existem membros desses trs grupos indicados: editores que
so eleitos pelos programas de ps-graduao, avaliadores da CAPES e representantes
da ANPPEP, o que se supe que sejam pesquisadores (competentes e isentos),
endossados pelo nicho da comunidade cientfica diretamente interessada no processo.
Importante tambm considerar a necessidade de inserir membros de outras
reas no grupo avaliador, compondo equipes multiprofissionais de trabalho, conforme
apontado pelos bibliotecrios consultados. A participao de jornalistas, estatsticos,
cientistas da informao e bibliotecrios, entre outras categorias profissionais,
imprescindvel para a realizao da atividade de forma completa, eficiente e fiel
realidade dos peridicos cientficos, o que j vem ocorrendo, em parte, nos grupos
atuais de avaliao dos peridicos de Psicologia.
O prximo tpico refere-se aos procedimentos da avaliao. Uma estratgia
comentada por um dos membros da Comisso de Avaliao aborda a composio dos
ttulos que devem participar do processo. Atualmente, como a avaliao est voltada
para os programas de ps-graduao, so classificados os peridicos que publicam a
produo dos docentes de tais programas.
Quanto a isso, tem-se duas implicaes: a primeira refere-se excluso de
ttulos, talvez importantes para a rea, por, simplesmente, no terem publicado material
da ps-graduao de Psicologia no perodo a que se refere avaliao. A segunda
implicao diz respeito classificao de revistas que no tenham interesse em serem
avaliadas pela CAPES, caso dos peridicos voltados para outros espaos (de atuao,

180

por exemplo) que no o contexto acadmico. preciso levar em conta que os critrios
adotados atualmente pela Comisso de Avaliao de Psicologia privilegiam certos
aspectos que podem prejudicar as revistas caracterizadas pela produo da prtica
profissional e no da pesquisa cientfica propriamente dita. Nesse caso, o ttulo recebe
um conceito no satisfatrio (B ou C, ou Local), o que pode afastar autores em potencial
bem qualificados e leitores interessados.
Uma alternativa vivel para esses problemas pode ser o convite para
participao na avaliao para todas as revistas da rea (cadastradas pela BVS-Psi, com
auxlio da ReBAP, por exemplo), e a efetivao da avaliao para aquelas que
acusassem interesse em ser classificada pela Comisso. Essa prtica j vem sendo
corrente na rea de Educao e tem obtido grande sucesso entre os editores20.
Ainda em relao definio do grupo de peridicos a serem avaliados,
importante discutir a estratgia de estabelecimento de critrios mnimos para os que se
submetem avaliao. Existem certos aspectos das revistas cientficas que podem ser
consideradas indicadores universais de qualidade, como o bloco de normalizao,
presente na Ficha de Avaliao da Qualis de Psicologia (conferir anexo 2) e a
regularidade da publicao. consenso entre os atores consultados para esta pesquisa
que essas exigncias j foram amplamente divulgadas e que no so aspectos difceis de
serem obtidos. Portanto, a restrio da avaliao s revistas que no cumprirem com
esses requisitos essenciais funcionaria como punio, mas, principalmente, chamaria a
ateno dos editores para a conceituao e funcionalidade de um peridico cientfico.
Essas duas alternativas, de ser avaliado o ttulo que tem interesse e fazer uso de
critrios mnimos, podem parecer contraditrias, j que a primeira marcada por um
carter inclusivo e a segunda, eliminatrio. Entretanto, o objetivo maior de pensar em
20

M. C. Guedes, comunicao pessoal, 05 de agosto de 2005, Natal-RN.

181

novas estratgias para a avaliao Qualis respeitar as singularidades de cada ttulo e,

ao mesmo tempo, efetivar uma atividade qualificada, alm de acentuar o aspecto
pedaggico do processo.
O quarto aspecto emergente da pesquisa so as consideraes feitas sobre o
instrumento de avaliao, principalmente no que diz respeito dualidade
forma/contedo e os critrios adotados.
O ponto mais marcante dessa discusso (na verdade, de toda a meta-avaliao),
refere-se necessidade de incluso de elementos de cunho mais qualitativo, voltados
para avaliao do contedo dos peridicos cientficos. Inserir nesse processo a
apreciao do mrito cientfico das revistas uma urgncia sinalizada por todos os
atores envolvidos: no toa que este foi o principal critrio julgado relevante pelos
editores consultados, foi o aspecto que os bibliotecrios afirmaram como necessrio
para uma avaliao mais completa e a prpria Comisso de Avaliao reconhece como
imprescindvel.
A avaliao do contedo pode ser uma alternativa crtica feita ao processo de
que j no h mais um refinamento dos ttulos, que o instrumento utilizado pela
Comisso CAPES/ANPEPP j no faz uma clara distino entre os peridicos, pois
muitos deles conseguiram melhoria no conceito fazendo alteraes representativas no
aspecto tcnico, de normalizao, mas pouco substanciais do ponto de vista cientfico.
importante ressaltar que desejvel que todas as revistas alcancem um nvel
timo de apresentao, que sejam capazes de atender s exigncias no que diz respeito
padronizao e as normas de publicao de peridicos cientficos. Nesse sentido, o que
poderia diferenci-las, de fato, seria o material veiculado, ou seja, a edio de artigos de
qualidade oferecidos aos leitores.

182

Quanto a essa averiguao da qualidade do contedo publicado, pode-se

recorrer consulta que feita aos pares, de carter opinativo, mas fundamentado em
dados concretos. Semelhante ao processo de peer review utilizado para arbitrar
manuscritos submetidos publicao, descrito detalhadamente por Pessanha (1998), a
avaliao dos peridicos pode ser feita mediante anlise de exemplares dos fascculos e
emisso de parecer sobre a relevncia e originalidade do peridico para a rea a que se
destina.
Os outros critrios mencionados na pesquisa e discutidos nessa dissertao so
a gesto editorial, o critrio publicao (regularidade e periodicidade), a questo da
autoria e a circulao, incluindo tambm aqui a classificao quanto ao mbito do
peridico. De modo geral, os editores reconhecem a importncia da utilizao desses
critrios como indicadores de qualidade das publicaes. A crtica principal reside na
forma como tais aspectos so avaliados, por meio da pontuao, o que leva a
desconsiderar a singularidade de cada peridico.
A necessidade de levar em conta uma realidade to heterognea como o caso
dos ttulos da rea foi apontada em diferentes pontos da pesquisa e pelos diferentes
atores consultados que afirmam que, em muitas circunstncias, os peridicos podem ser
prejudicados por no se encaixarem em um determinado padro e, portanto, no
atenderem a certos critrios muito especficos. Os ttulos podem variar de caractersticas
de acordo com a sub-rea de interesse, com o formato de apresentao (impresso ou
eletrnico), com o pblico-alvo, com os objetivos a que se prope e com os recursos
disponveis (fsicos, oramentrios e humanos), entre outros fatores.
Tanto editores quanto bibliotecrios salientaram que preciso haver espao no
processo de avaliao para considerar essas diferenas e no prejudicar os conceitos dos
ttulos que tenham particularidades em relao aos demais. Pelo contrrio, deve-se

183

estimular a criao e desenvolvimento de revistas que apresentem diferenciais, em vez

daqueles que podem ser substitudos por qualquer outro semelhante. Na verdade,
desejvel que existam peridicos que cubram as vrias finalidades, que atendam a
diferentes pblicos.
Quanto a essa diversidade, a Comisso de Avaliao responde apontando que
no h meios de se produzir e efetivar um mecanismo de avaliao que seja
simultaneamente objetivo e no quantitativo. Em outras palavras, a ponderao destes
critrios em pesos pr-determinados foi a sada encontrada para fugir dos vieses
possveis da avaliao subjetiva humana, fazendo uso de tais instrumentos
quantificveis e normativos.
Entretanto, uma alternativa possvel seria se a Comisso de Avaliao
observasse a linha editorial de cada revista e a coerncia desta com o contedo
publicado. Por exemplo, se um peridico assume que faz parte de sua misso a
divulgao de material de qualidade para alunos de graduao e ps-graduao, ela no
deveria ser punida por no publicar artigos de autores estrangeiros ou estar indexada em
servios internacionais, mas seria cobrada a sua presena em um grande nmero de
bibliotecas e um espao maior para publicao de relatos de experincia, resenhas
bibliogrficas e notas tcnicas, trabalhos essenciais para a formao do corpo discente.
Esse apenas um exemplo de respeito diversidade de linhas editoriais e como
a Comisso pode inserir esse aspecto na avaliao dos peridicos. fato que pode recair
em uma apreciao subjetiva, mas os editores e bibliotecrios pesquisados esto
dispostos a colaborar com o grupo avaliador e elaborar mecanismos para orientao
desse aspecto.
Por fim, um ltimo ponto abordado na pesquisa trata dos efeitos provocados
pelo sistema de avaliao dos peridicos cientficos nas prprias revistas e na

184

comunidade cientfica de maneira geral. As principais mudanas citadas por todos os

atores foram a melhoria das revistas, o estabelecimento de parmetros, o acirramento da
competio e o dilogo com a comunidade de interessados.
Foi consenso entre os trs grupos de respondentes que a avaliao foi eficiente
em estabelecer parmetros para a rea e que provocou mudanas positivas no quadro de
revistas de Psicologia, apesar dessas mudanas, como bem apontou um dos
bibliotecrios, se situarem basicamente em relao busca por indexao e
normalizao adequada dos ttulos. A Comisso de Avaliao a principal testemunha
desse fato, que pode ser percebido a partir da anlise entre uma avaliao e a seguinte.
J a concorrncia despertada em funo dos rankings apresentados foi apontada
apenas pelo grupo de editores, que atualmente sofrem com o ciclo vicioso decorrente
das avaliaes, que atingem tanto as revistas bem classificadas como aquelas que
receberam conceitos B ou C. Para auxiliar a reverter esse efeito negativo, pode-se
estimular a divulgao e valorizao de peridicos desconhecidos pelos docentes de
ps-graduao, em geral por restries financeiras e carncias administrativas, mas com
grandes possibilidades de publicar material de qualidade devido ao profissionalismo,
interesse e slidas relaes institucionais. Assim, os pesquisadores podem tomar
conhecimento de um leque maior de ttulos da rea e ter sua disposio mais
possibilidades para publicao de seus trabalhos, permitindo tambm que os peridicos
que atualmente so bem conceituados diminuam o fluxo de recebimento de manuscritos
e, conseqentemente, os prazos de tramitao dos trabalhos submetidos e os atrasos da
publicao.
Um ltimo efeito considerado tanto pelos editores quanto por um dos membros
da Comisso de Avaliao refere-se mobilizao da comunidade acadmica em torno
da temtica. A divulgao deste processo de avaliao atingiu diversos setores da

185

academia e da categoria profissional, tornando as revistas de Psicologia objetos de

reflexo pblica.
Este aspecto conduz segunda parte deste captulo, a saber, a contextualizao
da avaliao Qualis em relao ao fenmeno da produo cientfica. Uma vez feitas as
devidas consideraes sobre o processo de avaliao em si, ou seja, a meta-avaliao do
modelo de classificao de peridicos Qualis/Psicologia, passa-se agora a discutir seu
papel no cenrio mais amplo da pesquisa.
importante relacionar a avaliao de peridicos Qualis com o atual cenrio da
produo de conhecimento, uma vez que esse vem adquirindo novas e mais marcantes
caractersticas com o passar dos anos. Uma delas o aumento exponencial de produtos
cientficos, retratado pelos ndices cada vez maiores de publicaes, projetos de
pesquisa, eventos cientficos e teses e dissertaes de programas de ps-graduao,
entre outros aspectos.
Parte-se do pressuposto de que o fundamento que deve embasar a construo
do conhecimento a promoo de alternativas s demandas apresentadas pela
sociedade, ou seja, a soluo de problemas em torno do bem estar deve ser o fim maior
das pesquisas cientficas (Forattini, 1996). Entretanto, como bem aponta Madel Luz
(2005), a produo contnua de proposies inovadoras (...) s possvel quando h
uma certa liberdade no produzir que possibilita o surgimento do novo, com a criao,
que est na origem da inovao cientfica, tanto quanto na arte (p. 42).
Em virtude da exigncia crescente por parte das agncias financiadoras e
reguladoras da cincia por produtividade, nem sempre essa produo cientfica
inovadora, relevante e til aparece nas comunidades acadmicas/cientficas. Percebe-se,
ao contrrio, a necessidade de cumprir solicitaes, crescentes, em relao quantidade

186

e qualidade, sendo, muitas vezes, mais valorizado o aspecto quantitativo da cincia do

que o contedo e objetos-alvo da produo cientfica.
Visando atender essa cobrana por altos ndices de produtividade, os
pesquisadores buscam desenvolver o maior nmero de projetos e atividades que
resultem em produtos quantificveis. E so esses indicadores de resultados que vo
fornecer elementos para o registro, contabilizao e avaliao do conjunto da produo
entre estes cientistas.
O aspecto numrico da produtividade relaciona-se quantidade de produo
intelectual, principalmente bibliogrfica, considerada em um espao de tempo
especfico, crescente de acordo com a qualificao acadmica. J a vertente qualitativa
das exigncias institucionais nacionais estipulada em termos de artigos cientficos
publicados em peridicos bem conceituados pela base Qualis (Luz, 2005).
Em decorrncia desses nmeros crescentes da produo cientfica, se faz
necessrio distinguir entre a informao de qualidade e o conhecimento reproduzido,
desvalorizando, assim, um conjunto considervel do material apresentado pelos
programas de ps-graduao e centros de pesquisa, que foi exigido pelas prprias
agncias de fomento ser produzido. Entre os artigos publicados, produes apresentadas
em eventos, orientaes de trabalhos cientficos, livros e outras publicaes,
imprescindvel sinalizar para a comunidade acadmica o mrito cientfico de tais
produtos.
As avaliaes de peridicos cientficos, em especial aquela para alimentao da
base de dados Qualis, tornam-se uma possibilidade para prover tal diferenciao ao
classificar os ttulos segundo a sua circulao, padronizao e outros aspectos,
permitindo uma avaliao indireta do contedo e autoria neles veiculados. Contudo, a
avaliao Qualis no aprecia a qualidade concreta destes produtos, a real contribuio

187

ao avano do conhecimento ou inovao tecnolgica de que capaz (Luz, 2005, p. 54),

questo crucial que no levada em considerao pelos rgos de financiamento da
pesquisa.
Mesmo com essa limitao, os resultados desta base se tornaram, em algumas
reas do conhecimento, um verdadeiro dogma, que acaba tendo grandes repercusses
de natureza poltica, econmica, psicossocial (no que diz respeito aos atores envolvidos
e seus campos acadmicos de insero, pois resultam na desqualificao de
pesquisadores e de programas de ps-graduao) e, sobretudo, acadmicas e cientficas,
uma vez que passa a interferir nas formas de se produzir conhecimento.
A grande questo que est por trs desse fenmeno se esta classificao dos
veculos cientficos de Psicologia, tal como vem sendo desenvolvida, tem condies de
ser utilizada amplamente pela comunidade cientfica da rea, se ela consegue atender a
essa demanda que surgiu entre os diversos pesquisadores, que so produtores e
consumidores do conhecimento publicado.
O que preciso pensar, atualmente, que a Comisso de Avaliao de
peridicos Qualis poderia oferecer uma grande contribuio ao campo da pesquisa e
ensino de Psicologia, caso levasse em conta essas outras circunstncias de uso dos
resultados ao proceder o processo de classificao, em vez de se ater, unicamente, s
solicitaes da CAPES. Em outras palavras, o sistema de avaliao iniciado por uma
agncia reguladora de pesquisa e do ensino superior poderia se converter, oficialmente e
devidamente, em parmetro de qualidade da produo cientfica da rea, como vem
sendo considerado, de fato. E como bem aponta Guedes (2004), (...) talvez baste
assumirmos a avaliao como um processo, por isso, contnuo. Por isso, tambm, com
objetivos constantemente revistos, parte da permanente postura de autocrtica
indispensvel ao pesquisador e instituio universitria (p. 251).

188

importante acentuar este ponto, uma vez que os mtodos e procedimentos

utilizados, tais como escolha dos critrios, freqncia da avaliao, grupo avaliador
responsvel e instrumento adotado, entre outros aspectos, so definidos em funo do
objetivo a que se prope a avaliao. No se deve transpor de contexto os resultados
obtidos desprezando tal questo.
Uma vez considerado legtimo esse processo de avaliao de peridicos como
elemento de contribuio para o progresso cientfico de um campo de conhecimento, e
no apenas instrumento de monitoramento de programas de ps-graduao, h de se
construir alternativas para a elaborao de um modelo slido, consistente e completo,
capaz de fornecer respostas adequadas s demandas das comunidades cientficas e
acadmicas.
Foram muitos pontos levantados junto aos principais atores envolvidos no
processo de avaliao de peridicos de Psicologia, em que muitas crticas e sugestes
foram consideradas. Os debates em torno da qualificao da produo cientfica da rea
revelaram alguns aspectos divergentes e outros similares, mas, acima de tudo, percebeuse uma necessidade urgente de aperfeioamento do modelo a fim de colaborar para a
melhoria da publicao nacional de Psicologia.
Nesta anlise sobre a avaliao Qualis, o aspecto mais marcante foram os
paradoxos e contra-sensos detectados em grande parte dos temas discutidos, ou seja, a
percepo de que um mesmo ponto pode trazer benefcios e desvantagens, de acordo
com o ponto de vista adotado. Cada estratgia tem seu lado positivo e negativo, cada
crtica tem um fundamento e uma resposta, cada item de avaliao representa uma
contribuio e um prejuzo ao processo. Mas isso no significa que s existam essas
duas formas estanques para cada fenmeno observado, pelo contrrio, no mnimo essas

189

alternativas tm que estar presentes na discusso, que, em geral, se apresentam sob

vrias configuraes distintas.
Apesar desses pontos, de divergncias e contradies, a avaliao dos
peridicos em Psicologia para a base Qualis o principal instrumento atualmente
utilizado que objetiva assegurar um padro mnimo de qualidade nas publicaes da
rea.
Por isso, preciso que a Comisso de Avaliao esteja atenta aos desvios que
uma tomada de deciso pode sofrer e preparada para lidar com a diversidade de
posicionamentos e caractersticas do quadro editorial, mantendo, ao mesmo tempo, a
flexibilidade para incorporar sugestes e a firmeza necessria, adquirida em virtude da
experincia.
Ficam aqui registradas as indicaes de trabalhos futuros que podem ser
realizados para complementao e aprofundamento desta pesquisa. A consulta aos
usurios dos peridicos cientficos de fundamental importncia para uma apreciao
completa do processo de avaliao. Acredita-se que os pesquisadores, considerados
autores e leitores das revistas, tm importantes informaes para incrementar este
debate.
Alm disso, a idia de retornar aos bibliotecrios e profissionais de Cincias da
Informao de posse desses dados seria de grande valia para especificar, com mais
detalhes, cada item do modelo de avaliao considerado. As entrevistas foram
realizadas no incio do curso de mestrado, com carter exploratrio, portanto, um novo
debate com esses profissionais traria outros posicionamentos e reflexes.
O contato com os membros das Comisses de Avaliao de Psicologia ficou
um pouco prejudicado em virtude do mtodo empregado (questionrio via e-mail). Sem

190

dvida, entrevistas presenciais com todos esses pesquisadores enriqueceria ainda mais a
pesquisa.
Considera-se que o objetivo da pesquisa foi alcanado, levantando informaes
que possam contribuir, tambm, para o aprimoramento do modelo de avaliao adotado.
Os respondentes proporcionaram a discusso de questes fundamentais, sendo possvel
fazer uma anlise precisa sobre a temtica. Desde aspectos especficos como pontuao
do item autoria, existncia do critrio indexao e o modo de definio do mbito
dos ttulos, at debates mais gerais como a utilizao de instrumentos de avaliao
distintos para peridicos de naturezas diferentes ou padronizao excessiva em
detrimento da apreciao qualitativa, este trabalho abordou de forma ampla o objetoalvo da pesquisa, oferecendo sugestes e alternativas para a comunidade cientfica.
Alm da anlise propriamente dita do processo de avaliao de peridicos
cientficos, outros objetivos, no explicitados, foram alcanados. A expectativa que a
divulgao destes resultados possa auxiliar no debate pblico sobre o tema,
esclarecendo aos interessados e divulgando a avaliao de peridicos cientficos.
Entende-se que, quanto melhor a apropriao do processo pelos envolvidos, maiores as
chances de ser bem recebido e desenvolvido eficientemente.
Por fim, esta pesquisa empreendeu uma tentativa, ainda que incipiente, de
questionar os valores vigentes na sociedade do conhecimento, que decreta a criao
de (bons) trabalhos em um ritmo acelerado a fim de atender aos preceitos da
produtividade e da qualidade da produo cientfica. Diante dessa comunidade
acadmica que cresce a cada dia e, portanto, publica cada vez mais, o prprio sistema
exige e, ao mesmo tempo, exclui, provando que a lgica da construo do conhecimento
no est isenta dos princpios mercantilistas atuais.

191

9. Referncias bibliogrficas

Antunes, M. A. M. (2004). A Psicologia no Brasil no sc. XX: desenvolvimento

cientfico e profissional. In M. Massimi & M. C. Guedes (Orgs), Histria da
Psicologia no Brasil: novos estudos (pp. 109-152). So Paulo: EDUSP.
Arends, T. (1968). Las revistas mdicas venezolanas: evaluacin de su calidad. Acta
Cientifica Venezolana, 19, 118-151.
Barros, F. A. F. (2000). Os desequilbrios regionais da produo tcnico-cientfica. So
Paulo em Perspectiva, 14, 12-19.
Biojone, M. R. (2003). Os peridicos cientficos na comunicao da cincia. So Paulo:
EDUC/FAPESP.
Braga, G. M., & Obherhofer, C. A. (1982). Diretrizes para a avaliao de peridicos
cientficos e tcnicos brasileiros. Revista Latinoamericana de Documentacin, 2,
27-31.
Buela-Casal, G. (2001). La psicologa espaola y su proyeccin internacional. El
problema del criterio: internacional, calidad y castellano y/o ingls. Papeles del
Psiclogo, 79, 53-57.
Buela-Casal, G. (2003). Evaluacin de la calidad de los artculos y de las revistas
cientficas: propuesta del factor de impacto ponderado y de un ndice de calidad.
Psicothema, 15, 23-35.
Buela-Casal, G., Carretero-Dios, H., & Santos-Roig, M. (2002). Estudio comparativo de
las revistas de Psicologia em castellano con factor de impacto. Psicothema, 14,
837-852.
Castro, R. C., Negro, M. B., & Zaher, C. R. (1996). Procedimentos editoriais na
avaliao de artigos para publicao em peridicos de cincia da sade da
Amrica Latina e Caribe. Cincia da Informao, 25, 352-356.
Castro, R. C., Ferreira, M. C. G., & Vidili, A. L. (1996). Peridicos latino-americanos:
avaliao das caractersticas formais e sua relao com a qualidade cientfica.
Cincia da Informao, 25, 357-367.
Comisso Conjunta CAPES/ANPEPP. (2004). Relatrio da reunio da Comisso
Conjunta CAPES/ANPEPP para avaliao dos peridicos da rea de Psicologia.
Disponvel em http://www.anpepp.org.br, acessado em 16 de agosto de 2004.
Elkis, H. (1999). Fatores de impacto de publicaes psiquitricas e produtividade
cientfica. Revista Brasileira de Psiquiatria, 21, 231-236........................................

192

Enserink, M. (2001). Peer review and quality: a dubious connection? Science, 293,
2187-2188.
Feitosa, M. A. G. (1993). A tica do processo de reviso de manuscritos: a expectativa
do editor em relao ao papel do consultor. Psicologia: Teoria e Pesquisa, 9, ivvi.
Feitosa, M. A. G. (1994a). A responsabilidade do autor de manuscritos submetidos a
publicao. Psicologia: Teoria e Pesquisa, 10(1), iv-viii.
Feitosa, M. A. G. (1994b). A responsabilidade tica do editor de um peridico
cientfico. Psicologia: Teoria e Pesquisa, 10(2) iv- viii.
Ferreira, M. C. G., & Krzyzanowski, R. F. (2003). Peridicos cientficos: critrios de
qualidade. Pesquisas de Odontologia Brasileira, 17, 43-48.
Forattini, O. P. (1996). A trade da publicao cientfica. Revista de Sade Pblica, 30,
3-12.
Freitas, M. H. A. (1998). Avaliao da produo cientfica: consideraes sobre alguns
critrios. Psicologia Escolar e Educacional, 2, 211-228.
Guedes, M. C. (2004). Escrever e editar: compromisso com a disseminao de
conhecimento. Psicologia USP, 15, 249-256.
Guedes, M. C., Zannon, C., & Luna, S. V. (1996). O cenrio da publicao cientfica em
Psicologia no Brasil [Editorial]. In Sociedade Brasileira de Psicologia (Org.),
Encontro de editores de Psicologia. Ribeiro Preto: Autor.
Gibbs, W. W. (1995). Lost science in the third world. Scientific American, Agosto, 7683.
Gurgel, N. M. C., & Maia, O. L. (2003). Poltica de desenvolvimento do acervo para o
sistema de bibliotecas da Universidade Federal do Cear. In Ncleo Organizador
(Org.), XIII Seminrio Nacional de Bibliotecas Universitrias (pp. 15). Natal:
Autor.
Gutirrez, J., & Lpez-Nieva, P. (2001). Are international journals of human geography
really international? Progress in Human Geography, 25, 53-69.
Hill, D. L. (2004). Latin America shows rapid rise in S & E articles. Disponvel em
http://www.nsf.gov, acessado em 02 de novembro de 2004.
Hutz, C. S. (2000). Avaliao dos peridicos brasileiros em Psicologia 2000. Estudos
de Psicologia (Natal), 5, 471-487.
Institute for Scientific Information (1999). About ISI.
http://www.isinet.com, acessado em 12 de novembro de 2004.

Disponvel

em

193

Jeannin, P. (2002). Pour une revuemtrie de la recherch en Sciences socials.

Disponvel em http://www.iut-tarbes.fr/enquete/, acessado em 20 de outubro de
2004.
King, D. W., & Tenopir, C. (1998). A publicao de revistas eletrnicas: economia da
produo, distribuio e uso. Cincia da Informao, 27, 176-182.
Krzyzanowski, R. F., & Ferreira, M. C. G. (1998). Avaliao de peridicos cientficos e
tcnicos brasileiros. Cincia da Informao, 27, 165-175.
Krzyzanowski, R. F., Krieger, E. M., & Duarte, F. A. M. (1991). Programa de apoio s
revistas cientficas para a FAPESP. Cincia da Informao, 20, 137-150.
Kuhn, T. S. (2003). A estrutura das revolues cientficas (8 ed, B. V. Boeira, Trad.).
So Paulo: Perspectiva. (Obra original publicada em 1962)
Lawrence, P. A. (2003). The politics of publication. Nature, 422, 259-261.
Lemos, A. M. A. (1978). Modelo para avaliao de peridicos cientficos brasileiros:
estudo baseado na rea de radiologia. Dissertao de mestrado no-publicada,
Instituto Brasileiro de Informao em Cincia e Tecnologia, Rio de Janeiro.
Luz, M. T. (2005). Prometeu acorrentado: anlise sociolgica da categoria
produtividade e as condies atuais da vida acadmica. Physis, 15, 39-57.
Macedo, L., & Menandro, P. R. M. (1998). Consideraes sobre os indicadores de
produo no processo de avaliao dos programas de ps-graduao em
Psicologia. Infocapes, 6, 34-38.
Macias-Chapula, C. A. (1998). O papel da informetria e cienciometria e sua perspectiva
nacional e internacional. Cincia da Informao, 7, 134-170.
Meadows, A. J. (1999). A comunicao cientfica. Braslia: Briquet de Lemos/Livros.
Mello, P. M. A. C. (1996). A citao bibliogrfica no contexto da comunicao: um
estudo exploratrio na rea de botnica. Cincia da Informao, 25, 387-395.
Menandro, P. R. M. (2002). Uma nova etapa na avaliao de peridicos cientficos
utilizados por pesquisadores brasileiros em Psicologia. Mudanas, 10, 202-203.
Mendes, I. A. C. & Marziale, M. H. P. (2001). Avaliao por pares em divulgao
cientfica. Revista Latino-Americana de Enfermagem, 9, 3-5.
Miranda, D. B., & Pereira, M. N. F. (1996). O peridico cientfico como veculo de
comunicao: uma reviso de literatura. Cincia da Informao, 25, 375-382.
Mueller, S. P. M. (1999). O crculo vicioso que prende os peridicos nacionais.
Disponvel em http://www.dgzero.org, acessado em 11 de novembro de 2003.
Netto, S. P. (1979). A Psicologia no Brasil. In M. G. Ferri & S. Motoyama (Orgs.),
Histria das Cincias no Brasil (pp. 235-276). So Paulo: EDUSP.

194

Packer, A. L., Biojone, M. R., Antonio, I., Takenaka, R. M., Garca, A. P., Silva, A. C.,
Murasaki, R. T., Mylek, C., Reis, O. C., & Delbucio, H. C. R. F. (1998). Scielo:
uma metodologia para publicao eletrnica. Cincia da Informao, 27, 109121.
Paula, M. C. S. (2002). A base Qualis e sua utilizao no projeto Insero. In J. Velloso
(Org.), Formao no Pas ou no exterior? Doutores na ps-graduao de
excelncia. Um estudo na Bioqumica, Engenharia Eltrica, Fsica e Qumica no
Pas (pp. 217-237). Braslia: Fundao Coordenao de Aperfeioamento de
Pessoal de Nvel Superior.
Pessanha, C. (1998). Critrios editoriais de avaliao cientfica: notas para discusso.
Cincia da Informao, 27, 226-229.
Pinto, A. C., & Andrade, J. B. (1999). Fator de impacto de revistas cientficas: qual o
significado deste parmetro? Qumica Nova, 22, 448-453.
Sampaio, M. I. C., & Peixoto, M. L. (2000). Peridicos brasileiros de Psicologia
indexados nas bases de dados LILACS e PsycInfo. Boletim de Psicologia, L, 6573.
Sampaio, M. I. C. (2001). Ata da primeira reunio do Comit Consultivo Nacional da
Biblioteca Virtual em Sade. Disponvel em http://www.bvs-psi.org.br/atas.htm,
acessado em 02 de setembro de 2004.
Sampaio, M. I. C., Sabadini, A. A. Z. P., & Linguanotto, A. R. J. (2002). Peridicos
cientficos: caractersticas e exigncias. Mudanas, 10, 184-200.
Santos, D. D. (1979). Resultados preliminares do projeto de avaliao de peridicos em
cincia e tecnologia. Trabalho apresentado na Reunio Brasileira de Cincia da
Informao, Rio de Janeiro.
Seglen, P. O. (1997). Why the impact factor of journals should not be used for
evaluating research. Biological and Medical Journal, 7079, 314-322.
Serradas, A. (2004). Relatrio do I Encontro de Editores de Revistas Cientficas da
rea de Psicologia. Disponvel em http://www.bvs-psi.org.br/, acessado em 05 de
outubro de 2004.
Silva, J. A., & Baffa Filho, O. (2000). A centralizao do saber. Paidia Cadernos de
Psicologia e Educao, 10, 8-11.
Silva, J. A., & Bianchi, M. L. P. (2001). Cientometria: a mtrica da cincia. Paidia
Cadernos de Psicologia e Educao, 11, 5-10.
Souza E. P., & Paula, M. C. S. (2002). Qualis: a base de qualificao dos peridicos
cientficos utilizada na avaliao CAPES. Infocapes, 10, 06-24.
Stumpf, I. R. G. (1996). Passado e futuro das revistas cientficas. Cincia da
Informao, 25, 383-386.

195

Targino, M. G., & Garcia, J. C. R. (2000). Cincia brasileira na base de dados do

Institute for Scientific Information (ISI). Cincia da Informao, 29, 113-117.
Testa, J. (1998). A base de dados ISI e seu processo de seleo de revistas. Cincia da
Informao, 27, 233-235.
Valerio, P. M. (1994). Espelho da Cincia. Braslia: FINEP/IBICT.
Volpato, G. L., & Freitas, E. G. (2003). Desafios na publicao cientfica. Pesquisas de
Odontologia Brasileira, 17, 49-56.
Yahn, V. G. (1985). Avaliao de peridicos brasileiros de agricultura. Revista
Brasileira de Biblioteconomia e Documentao, 18, 39-53.
Yamamoto, O. H. & Gouveia, V.V. (Orgs) (2003). Construindo a Psicologia brasileira:
desafios da cincia e prtica psicolgica. So Paulo: Casa do Psiclogo.
Yamamoto, O. H., & LoBianco, A. C. (2004). Frum de publicaes cientficas e
produtividade em Psicologia. Disponvel em http://www.anpepp.org.br, acessado
em 20 de junho de 2005.
Yamamoto, O. H., Koller, S. H., Guedes, M. C., LoBianco, A. C., S, C. P., Hutz, C. S.,
Bueno, J. L. O., Macedo, L., & Menandro, P. R. M. (1999). Peridicos cientficos
em Psicologia: uma proposta de avaliao. Infocapes, 7, 5-11.
Yamamoto, O. H., Menandro, P. R. M., Koller, S. H., LoBianco, A. C., Hutz, C. S.,
Bueno, J. L. O., & Guedes, M. C. (2002). Avaliao de peridicos cientficos
brasileiros da rea da psicologia. Cincia da Informao, 31, 163-177.
Yamamoto, O. H., Souza, C. C., & Yamamoto, M. E. (1999). A produo cientfica na
psicologia: uma anlise dos peridicos brasileiros no perodo 1990-1997.
Psicologia: Reflexo e Crtica, 12, 549-565.
Youdeowei, A. (2001). A guidebook on journal publishing for agriculture and rural
development. United Kingdom: INASP.

196

Apndices

197

A.

Lista de editores que responderam a pesquisa

REVISTA

RESPONDENTE
Alethia
Mauro Magalhes
Marysandra Carlotto
Avaliao Psicolgica
Cludio S. Hutz
Cadernos de Psicanlise - SPCRJ
Luiz Ricardo Prado de Oliveira
Doxa
Paulo Rennes Marcal Ribeiro
Estilos da Clnica
Maria Cristina M. Kupfer
Leandro de Lajonquire
Rinaldo Voltolini
Estudos de Psicanlise
Carlos Perktold
Estudos e Pesquisas em Psicologia
Anna Paula Uziel
Ariane Ewald
Eleonora Prestrello
Deise Mancebo
Estudos Interdisciplinares sobre o Envelhecimento
Sergio Antonio Carlos
Griphos
Instituto de Estudos Psicanalticos
Imaginrio
Maria de Lourdes Beldi de Alcntara
Interao (Curitiba)
Ldia Natalia Dobriansky Weber
Mal-estar e Subjetividade
Henrique Figueiredo Carneiro
Memorandum
Miguel Mahfoud
Marina Massimi
Mudanas
Luciano Sathler Rosa Guimares
Jos Tolentino Rosa
Natureza Humana
Zeljko Loparic
Opo Lacaniana
Angelina Harari
Paidia
Zlia Maria Mendes Biasoli-Alves
Perfil
Sonia Aparecida Moreira Frana
Psicologia & Sociedade
Cleci Mareschin
Psicologia Argumento
Elizabeth Veiga
Andra Silveira
Psicologia Clnica
Ana Maria Rudge
Bernardo Jablonski
Psicologia em Estudo
Maria Lucia Boarini
Psicologia em Revista
Jos Newton G. Arajo
Psicologia: Cincia e Profisso
Accia Aparecida Angeli dos Santos
Psicologia: Reflexo e Crtica
Lisiane Bizarro
Psicologia: Teoria e Pesquisa
Tereza Cristina C. Ferreira de Arajo
Psicologia: Teoria e Prtica
Maria Cristina Trigueiro Veloz Teixera
Psych
Daniel Delouya
Reverso
Carlos Perktold
Rev. Bras. Crescimento e Desenvolvimento Humano Elaine Pedreira Rabinovich
Rev. Bras. de Terapia Comportamental e Cognitiva Roberto Alves Banaco

198

Revista da SBPH
Rev. da Soc. de Psicologia do Tringulo Mineiro
Revista de Psicologia
Revista de Psicoterapia da Infncia e Adolescncia
Revista Kairs
Rev. Latino-americana de Psicopat. Fundamental
Temas sobre Desenvolvimento

Julieta Quayle
Fernando Antonio Leite de Oliveira
Izabel Cristina Ferreira Borsoi
Catia Olivier Mello
Beltrina Corte
Suzana Rocha Medeiros
Manoel Tosta Berlinck
Jos Salomo Schwartzman

199

B. Caracterizao das revistas que participaram da pesquisa

Para participar de uma das etapas da pesquisa, foram convidados os editores
das 94 revistas que compem a lista da avaliao de peridicos para a base Qualis do
ano de 2004. Desse total, 38 responderam o questionrio enviado. Do restante, trs
informaram que no iriam participar da pesquisa por no serem da rea de Psicologia,
exclusivamente (Distrbio da Comunicao, Revista de Psicologia Hospitalar e Textos
sobre Envelhecimento).
Outras trs revistas no foram contatadas por estarem com o endereo e e-mail
desatualizados, sendo impraticvel a sua localizao. Tambm no foi possvel
conseguir o contato dos editores via Plataforma Lattes. So elas: Estudos de Psicologia
(Campinas), Jornal de Psicanlise e Revista Brasileira de Sexualidade Humana.
Os demais 50 peridicos contatados no emitiram nenhum tipo de justificativa
ou resposta solicitao da participao na pesquisa. Apesar de terem sido enviados
quatro e-mails e uma carta por correio, possvel que algum editor no tenha tomado
conhecimento sobre o trabalho, por falha nesse processo de comunicao.
Do total de 38 peridicos cientficos cujos editores responderam ao
questionrio, procedeu-se uma anlise sobre as principais caractersticas das revistas,
desde a instituio que as publicam at o desempenho nas avaliaes da Qualis. As
informaes foram coletadas nos sites da Biblioteca Virtual de Psicologia e da
ANPEPP, majoritariamente. Alguns dados foram retirados dos sites das revistas ou dos
prprios fascculos.
Um primeiro dado refere-se natureza jurdica das instituies que sediam os
peridicos. Das 38 revistas, h a mesma quantidade de publicaes alocadas em
instituies privadas e pblicas. Ainda existem quatro que no informam sua natureza
jurdica. Como a publicao de peridicos cientficos tem seu maior ganho voltado para

200

a disseminao cientfica e no o lucro financeiro, de se estranhar que no haja a

presena das revistas prioritariamente em instituies pblicas.
Tabela 2
Natureza jurdica das instituies dos peridicos cientficos
Natureza Jurdica

Privada

17

Pblica

17

No informa

Total

38

Alm da natureza jurdica, procedeu-se anlise do tipo de instituio. A

grande maioria das revistas respondentes est vinculada a universidades, principal lcus
de produo e disseminao de pesquisas e achados cientficos. Ainda existe um
percentual considervel de peridicos publicados por sociedade ou associao cientfica,
que indica uma tendncia cada vez mais crescente na Psicologia de formao de grupos
por rea de atuao ou temas de estudo para produo e discusso cientfica. A
autarquia aqui presente refere-se revista publicada pelo Conselho Federal de
Psicologia (Psicologia: Cincia e Profisso) e a editora a Memnon Edies Cientficas,
que publica o peridico Temas sobre Desenvolvimento.
Tabela 3
Tipo de instituio que sedia os peridicos cientficos
Tipo de instituio

Universidade

27

Sociedade Cientfica/Associao/Grupo de Estudos

Autarquia

Editora

Total

38

201

Ainda em relao sede dos peridicos cientficos, analisou-se a distribuio

geogrfica. Percebe-se uma grande centralizao de peridicos nas regies Sudeste e
Sul e no houve nenhum participante da regio Norte do pas. As regies Nordeste e
Centro-oeste tiveram pouca expressividade.
Confirmando dados de pesquisas anteriores (Yamamoto, Souza & Yamamoto,
1999), o estado de So Paulo concentra grande parte da produo cientfica, sediando 15
revistas cientficas de Psicologia que participaram da pesquisa. Apesar de ser apenas um
recorte do total de revistas existentes, h de se considerar essa tendncia. Por outro lado,
o nico representante do Nordeste foi o estado do Cear, que colaborou com
questionrios de duas revistas.
Tabela 4
Distribuio geogrfica das revistas participantes da pesquisa
Distribuio geogrfica

Sudeste

24

Sul

10

Nordeste

Centro-oeste

Total

38

Deixando a anlise sobre as instituies que publicam as revistas, foram

examinadas caractersticas dos peridicos cientficos, como vnculo com programas de
ps-graduao, periodicidade, linha editorial e desempenho nas avaliaes Qualis.
Na Tabela 5, percebe-se a vinculao das revistas pesquisadas com os
programas de ps-graduao credenciados pela CAPES. Todas as revistas cujos editores
participaram da pesquisa que tem vnculo com a ps-graduao esto sediadas em
alguma universidade. E, apesar de 27 peridicos estarem vinculados a universidades,

202

apenas 23 tem relao com algum curso de ps-graduao. Alm disso, dos 23
peridicos cientficos que afirmam ter contato com programas de ps-graduao, 14 (ou
61%) so publicados por instituies pblicas.
Tabela 5
Vinculao das revistas com programas de ps-graduao
Vnculo com ps-graduao

Sim

23

No

15

Total

38

Com relao freqncia de publicao das revistas cientficas, percebe-se que

quase 80% dos peridicos respondentes apresentam periodicidade semestral ou anual. A
periodicidade um item bastante questionvel, pois alguns profissionais defendem que
na rea de Humanas difcil manter uma publicao muito freqente, uma vez que os
trabalhos demandam mais tempo para elaborao. Assim, do total, apenas seis
peridicos apresentam periodicidade quadrimestral, trimestral ou bimestral.
Tabela 6
Periodicidade dos peridicos cientficos participantes da pesquisa

Periodicidade

Semestral

24

Anual

Quadrimestral

No informa

Trimestral

Bimestral

Total

38

A anlise sobre a linha editorial das revistas se restringiu temtica publicada

por cada um dos peridicos em questo. O resultado ficou dividido entre revistas que

203

publicam temas gerais da Psicologia e aquelas voltadas para um pblico definido e

especializadas em alguma rea.
Dos peridicos especializados, as reas mais recorrentes foram Psicanlise,
Psicologia da Sade e Psicologia do Desenvolvimento. Somando as reas de Psicanlise
com Psicologia Clnica e Psicoterapia, a rea clnica ganha bastante destaque entre as
demais. Chamou a ateno a existncia de algumas revistas em intercmbio com outras
reas do saber, como Filosofia e Antropologia e Sociologia assim como cinco ttulos
voltados exclusivamente para a Psicologia do Desenvolvimento.
Tabela 7
Temas publicados pelas revistas
Temtica da revista

Psicologia

12

Psicanlise

Psicologia da Sade/ Sade Mental/ Hospitalar

Psicologia do Desenvolvimento (infncia e velhice) 5

Psicologia da Educao

Psicologia Clnica

Subjetividade e Psicologia

Filosofia e Psicoterapia

Psicologia / Antropologia / Sociologia

Psicologia / Histria da Psicologia / Memria

Psicologia / Psicometria

Psicologia Social

Total

38

A tabela seguinte apresenta os conceitos recebidos nas avaliaes da base

Qualis pelos peridicos cientficos que responderam o questionrio enviado. Percebe-se
o significativo percentual (60%) de revistas de mbito nacional na ltima avaliao e
ainda mais dois ttulos que receberam o selo Internacional.

204

Esse dado aponta que os editores que se prestaram a participar da pesquisa so

profissionais interessados e comprometidos no progresso do quadro editorial de
Psicologia no pas. Alm deles, observa-se tambm a presena de editores cujos
peridicos no passaram pela avaliao, mas que conhecem o trabalho da comisso
CAPES/ANPEPP e estavam dispostos a contribuir.
Tabela 8
Desempenho das revistas cientficas nas avaliaes Qualis
mbito/Conceitos

2000

2001

2003

2004

2005

No foi avaliada

18

17

15

Local A

Local B

Local C

Nacional A

11

18

Nacional B

Nacional C

Internacional

Os dados apresentados compem apenas um perfil sumrio dos peridicos

cujos editores participaram da pesquisa. Trata-se de uma tentativa de conhecer melhor
os respondentes da pesquisa a fim de contextualizar suas respostas e poder fazer uma
anlise mais aprimorada e melhor fundamentada.

205

C. Questionrio enviado via e-mail aos editores de Psicologia

Revista:
Editor:
Instituio/Sociedade cientfica:

1.
O crescimento da produo cientfica nos ltimos anos e conseqente aumento
no nmero de veculos de publicao tem colocado a necessidade de monitorao
dessa produo. Com relao avaliao dos peridicos cientficos da rea da
Psicologia:
Quem deve se responsabilizar pela avaliao?
Quais os critrios que voc julga relevantes?
Qual(is) o(s) procedimento(s) mais adequado(s)?
Qual periodicidade da avaliao?
2.
Com relao avaliao realizada pela Capes (sistema Qualis), quais so os
aspectos positivos e negativos que voc destacaria?

3.
Quais mudanas podem ser percebidas no quadro de revistas de Psicologia
decorrentes dos resultados do sistema Qualis?

4.
Voc considera que os conceitos atribudos a cada revista retratam
adequadamente o material avaliado?

Muito obrigada pela sua participao!

206

D. Roteiros das entrevistas com bibliotecrios

x Ceclia Krzyzanowsky Ferreira, So Paulo (31.05.04)

1 - Por que avaliar peridicos?
- Histrico do tema: pioneiros
- Critrios de avaliao
- Mtodos utilizados
2 Como se avalia a qualidade de um peridico? O que diferencia um bom de um ruim
peridico?
3 Por que criar um novo instrumento?
- Como se chegou a essas pontuaes?
- Est satisfeita com os resultados?
- Eles realmente retratam a realidade?
- Pontos positivos e negativos desse instrumento
- Se aplica a Psicologia?
4 Tem como superar as crticas feitas ao instrumento CAPES/ANPEPP?
- Como?
- Voc acha que alteraes no instrumento poderia levar a resultados diferentes?
- Por que?
5 Como selecionar amostras para um teste? (sugestes para o meu trabalho)

x Imaculada Sampaio (SBD IPUSP), So Paulo (02/05/04)

Pra voc, o que qualidade em um peridico? Como avaliar isso?
01 Histrico da avaliao na Psicologia:
- Como tudo comeou
- Houve uma diferena entre as trs?
- A comisso representativa? Ela d conta?
- Mudou algo nas revistas?
- A avaliao evoluiu junto com as revistas?
02 Instrumento:
- D conta? Precisa avanar?
- Falta alguma coisa?
- injusta?
- Pontos positivos?
- Tem como superar as crticas?
- Se mudar o instrumento, acha que muda os resultados?
- Discusso sobre alguns critrios: regularidade, indexao, endogenia, diviso de
contedo
- Peridicos internacionais

207

x Regina Castro (BIREME), So Paulo (01.06.04)

01 Avaliao de peridicos:
- Por que avaliar?
- Histrico
- Mtodos de avaliao (diferente de critrios)
- O que qualidade em peridicos?
02 BIREME e SciELO:
- Critrios Scielo
- Avaliaes antecedentes: FAPESP e CNPq
- Como avaliar contedo
- Quem da Psicologia na BIREME (que avalia)
- Existem dificuldades?
- Sente falta de alguma coisa?
- Os resultados satisfazem?
03 Avaliao da Psicologia:
- Tem como superar as crticas?
- Reviso de alguns critrios: indexao, durao, distribuio das bibliotecas
(como conferir)
- Se mudar o instrumento, acha que muda os resultados?
- A questo do contedo: objetivamente mensurvel?
- Como resolver a amostra (sugesto para o meu trabalho)?

x Andr Serradas (BVS-Psi), So Paulo (02/05/04)

1.
Pra voc, o que qualidade em um peridico cientfico?
2.
Qual a melhor forma de avaliar os peridicos cientficos de Psicologia?
3.
Por que a BVS-Psi no avalia os peridicos de Psicologia?
4.
Desde o seu surgimento, em quais aspectos a BVS-Psi mudou?
5.
Voc tem acompanhado as avaliaes da Psicologia pela CAPES, auxiliando a
comisso responsvel. Na sua perspectiva, quais os principais efeitos das avaliaes? As
revistas mudaram? Em quais aspectos?
6.
Em relao aos procedimentos e instrumentos dessa referia avaliao, voc acha
que os critrios utilizados so adequados? Voc acha que se mudar o instrumento, muda
os resultados?

208

E. Questionrio enviado via e-mail para membros da Comisso de Avaliao

1. Como voc avalia o processo de avaliao dos peridicos cientficos de Psicologia

CAPES-ANPEPP?
a) Na sua opinio, ela atende aos objetivos propostos?
b) Quais so os aspectos positivos e os negativos dessa avaliao?
c) Quais so as limitaes e potencialidades do(s) instrumento(s) empregados?
d) Que mudanas no(s) instrumento(s) seriam necessrias para aumentar a eficcia
da avaliao?

2. Na sua opinio, a avaliao CAPES-ANPEPP trouxe mudanas para o campo

editorial da Psicologia no Brasil? Se sim, quais.

3. Voc acha que os resultados da avaliao CAPES-ANPEPP e a classificao Qualis

tm consistncia para serem levados em considerao em outros contextos pela
comunidade cientfica (ex: fomento no campo editorial, indexao em bases de dados,
incluso em colees de bibliotecas, financiamento de pesquisa etc.)?

209

Anexos

210

1. Composio das Comisses de Avaliao CAPES/ANPEPP

x

Relao da Comisso de Avaliadores: 1998

Anna Carolina LoBianco (Universidade Federal do Rio de Janeiro)

Celso Pereira de S (Universidade Estadual do Rio de Janeiro)
Cludio Simon Hutz (Universidade Federal do Rio Grande do Sul)
Jos Lino O. Bueno (Universidade de So Paulo)
Lino de Macedo (Universidade de So Paulo)
Maria do Carmo Guedes (Pontifcia Universidade Catlica de So Paulo)
Oswaldo H. Yamamoto (Universidade Federal do Rio Grande do Norte)
Paulo R. M. Menandro (Universidade Federal do Esprito Santo)
Slvia Helena Koller (Universidade Federal do Rio Grande do Sul)

x

Relao da Comisso de Avaliadores: 2000

Anna Carolina LoBianco (Universidade Federal do Rio de Janeiro)

Cludio Simon Hutz (Universidade Federal do Rio Grande do Sul)
Jos Lino de Oliveira Bueno (Universidade de So Paulo)
Maria do Carmo Guedes (Pontifcia Universidade Catlica de So Paulo)
Oswaldo Hajime Yamamoto (Universidade Federal do Rio Grande do Norte)
Paulo Rogrio Meira Menandro (Universidade Federal do Esprito Santo)
Slvia Helena Koller (Universidade Federal do Rio Grande do Sul)

x

Relao da Comisso de Avaliadores: 2001

Anna Carolina LoBianco (Universidade Federal do Rio de Janeiro)

Cludio Simon Hutz (Universidade Federal do Rio Grande do Sul)
Jos Lino B de Oliveira Bueno (Universidade de So Paulo)
Maria ngela G Feitosa (Universidade de Braslia)
Maria do Carmo Guedes (Pontifcia Universidade Catlica de So Paulo)
Oswaldo Hajime Yamamoto (Universidade Federal do Rio Grande do Norte)
Paulo Rogrio Meira Menandro (Universidade Federal do Esprito Santo)
Slvia Helena Koller (Universidade Federal do Rio Grande do Sul)

211

x

Relao da Comisso de Avaliadores: 2004

Anna Carolina LoBianco (Universidade Federal do Rio de Janeiro)

Marco Aurlio Mximo Prado (Universidade Federal de Minas Gerais)
Maria Juracy Filgueiras Toneli (Universidade Federal de Santa Catarina)
Oswaldo Hajime Yamamoto (Universidade Federal do Rio Grande do Norte)
Paulo Rogrio Meira Menandro (Universidade Federal do Esprito Santo)
Slvia Helena Koller (Universidade Federal do Rio Grande do Sul)

x

Relao da Comisso de Avaliadores: 2005

Ana Maria Lofredo (Universidade de So Paulo)

Anna Carolina LoBianco (Universidade Federal do Rio de Janeiro)
Antonio Virgilio B. Bastos (Universidade Federal da Bahia)
Emma Otta (Universidade de So Paulo)
Emmanuel Tourinho (Universidade Federal do Par)
Lcia Rabello de Castro (Universidade Federal do Rio de Janeiro)
Marco Aurlio Mximo Prado (Universidade Federal de Minas Gerais)
Maria Juracy Filgueiras Toneli (Universidade Federal de Santa Catarina)
Norberto Abreu e Silva Neto (Universidade de Braslia)
Oswaldo Hajime Yamamoto (Universidade Federal do Rio Grande do Norte)
Slvia Helena Koller (Universidade Federal do Rio Grande do Sul)

212

2. Ficha de Avaliao

Critrios de Avaliao (Perodo 2001)

Definio do critrio

Item

2
3
4
5

NORMALIZAO

(TODOS OS ITENS ABAIXO DEVEM CONSTAR EM CADA FASCCULO DA REVISTA)

ISSN, Endereo e Data da impresso (obrigatrios)

Legenda bibliogrfica (na primeira pgina de cada contribuio)
Identificao da publicao Ficha catalogrfica
Linha editorial
Normas de publicao (completa incluindo exemplos)
Sumrio
Portugus e ingls (exceto para publicaes em ingls)
Resumos
Portugus e ingls (em todos os artigos, exceto para publicaes em ingls)
Descritores (palavrasPortugus e ingls (em todos os artigos, exceto para publicaes em ingls)
chave)
Presena de normalizao consistente em todos os artigos (normas de instituies
Referncias
reconhecidas na rea)
Afiliao institucional
do autor
Indicao completa
do conselho editorial
dos consultores ad hoc
Endereo do autor para
Endereo postal e/ou eletrnico
correspondncia

Subtotal

12

1
1
2
1
2
1
2

PUBLICAO

Tempo de publicao

Regularidade
Proposta de periodicidade
(desde que cumprida no
perodo)

10

Pontuao
possvel

Mais de 15 anos
Mais de 10 anos
Mais de 5 anos
Mais de 2 anos
Publicao sem atraso
4 edies ao ano
3 edies ao ano
2 edies ao ano

4
3
2
1
8
4
3
2

Subtotal

16

11 Presena em bases de dados Impressas e/ou eletrnicas

Assinatura + venda avulsa e/ou permuta
12 Formas de distribuio
Apenas venda avulsa e/ou permuta
Apenas distribuio gratuita ou doao
Disponibilidade em bibliotecas
13 de universidades brasileiras
1 ponto para cada 10 bibliotecas que possurem, pelo menos os exemplares do perodo
(anexar lista)
Difuso eletrnica (textos
14
Endereo impresso na revista
completos)

2
3
2
1

3 CIRCULAO

Subtotal

Mximo
5
2

12

213

Item

Definio do critrio

4 AUTORIA E CONTEDO
15 Autoria estrangeira
16 Autoria nacional

17 Autoria interinstitucional
18 Artigos/Ensaios originais

Pontuao
possvel

(NO PERODO)
Mnimo de 2 artigos/ensaios originais de autores estrangeiros
Mnimo de 75% de artigos/ensaios originais de autores de 2 ou mais UFs (que no a UF
de origem)
Entre 50% e 74% de artigos/ensaios originais de autores de 2 ou mais UFs (que no a
UF de origem)
Publicao de artigos/ensaios originais de 5 ou mais instituies (ainda que na mesma
UF)
Mnimo de 75% do total de pginas de cada fascculo
Entre 50% a 74% do total de pginas de cada fascculo

Relatos de experincia, resenhas

19 bibliogrficas, notas tcnicas e
Presena regular
outros
Em servio internacional reconhecido na rea
20 Indexao em bases de dados
Em outros indexadores internacionais
Nmero de artigos/ensaios
21
Publicao de no mnimo 5 artigos/ensaios originais por fascculo
originais por fascculo

3
12
8
5
4
3
2
12
4
2

Subtotal

40

22 Comisso executiva
Presena
23 Editor responsvel
Presena
Diversidade do Conselho
24
Reconhecida contribuio na rea e compatvel com a linha editorial
Editorial/Cientfico
mbito nacional (pelo menos 3 UFs), com membros de reconhecida contribuio na rea
Abrangncia do Conselho
25
mbito internacional (membros afiliados a instituies estrangeiras e nacionais de no
Editorial/Cientfico
mnimo 3 UFs, com reconhecida contribuio na rea)
Consultores externos
26
Publicao da nominata (mnimo uma vez a cada 2 anos)
(ad hoc)
Abrangncia dos consultores
27
Participao de consultores de no mnimo 6 instituies
externos (ad hoc)
Procedimentos de tramitao
28
Publicao de esclarecimentos sobre estes procedimentos
e arbitragem
Data de recebimento e
29
Presena regular
aceitao dos manuscritos

1
2

5 GESTO EDITORIAL

Subtotal
TOTAL GERAL

4
4
5
1
4
2
1

20
100