CLINICS 2009;64(1):1-4

EDITORIAL O nOvO QuALIs, Ou A TRAgDIA AnuncIADA

Mauricio Rocha-e-Silva, Editor doi: 10.1590/S1807-59322009000100001

Para marcianos recm-desembarcados, Qualis definido pela CAPES como uma lista de veculos utilizados para a divulgao da produo intelectual dos programas de ps-graduao stricto sensu (mestrado e doutorado). At recentemente estes veculos eram classificados quanto ao mbito de circulao (Local, Nacional, Internacional) e quanto qualidade (A, B, C), para cada rea de avaliao. Serve para fundamentar o processo de avaliao do Sistema Nacional de Ps-Graduao da CAPES. Esta classificao foi de grande importncia como primeira medida de qualidade do produto da ps-graduao. Praticamente todos concordam que ela j esgotou seu ciclo de validade e deve ser substituda. O evidente crescimento em qualidade da produo cientfica brasileira extrapolou os limites deste metro, que perdeu seu poder discriminativo. Uma nova tabela Qualis est em vias de ser ativada. No me sinto capacitado a avali-la para outras reas, mas o produto oferecido considerao da comunidade mdica merece comentrios. As premissas em que se baseia so trs. A primeira que a distribuio de freqncia de conceitos dos programas brasileiros de ps-graduao deve ser normal, ou Gaussiana. Poder-se-ia aqui indagar como foi que se chegou concluso de que essa distribuio naturalmente normal. A segunda premissa estabelece que apenas 25% dos programas podem ter conceito mximo (6 ou 7) em qualquer rea de avaliao. Caso o nmero de programas merecedores de conceito mximo supere o limite, as normas de avaliao sero automaticamente apertadas para manter o limite. Igualmente, pode-se perguntar se no absurdo mudar as regras do jogo no meio da partida para rebaixar o conceito de programas que primeira vista pareciam excelentes. A terceira premissa diz respeito a nova tabela Qualis para peridicos, que passa a ter sete nveis conforme a Tabela 1. Esta vale para todas as reas do conhecimento, devendo cada
Hospital das Clnicas, Faculdade de Medicina da Universidade de So Paulo So Paulo/SP, Brazil. mrsilva36@hcnet.usp.br

rea estabelecer os nveis especficos de corte de tal modo a assegurar que apenas 25% dos peridicos estejam no nvel mais alto (Qualis A) e que haja maior nmero de peridicos A2 que A1. Embora isso no seja explcito, parece evidente que estes 25% derivam diretamente dos 25% do conceito anterior. Conhecemos j os nveis propostos para peridicos das reas de Medicina 1 e Medicina 2, faltando bater o martelo para os da Medicina 3. A Tabela 1 exibe os valores decididos (Medicinas 1 e 2) e propostos (Medicina 3). Segundo a Comisso de Reviso do Qualis Medicina, estes valores foram calibrados para cumprir a meta de 25% de peridicos em Qualis A, com maior nmero de peridicos em A2 que em A1. O problema que estas reas compreendem subreas, definidas pelo prprio sistema ISI-JCR, como subject categories. A redao de CLINICS fez um levantamento destas subject categories e constatou a existncia de pelo menos 14 que correspondem Medicina 1, oito Medicina 2 e sete Medicina 3. A Tabela 2 exibe alguns parmetros levantados pela redao de CLINICS para estas 29 subject categories. No podemos garantir que nossa lista exaustiva e podem existir enganos decorrentes de um levantamento a mo. Se houver enganos tenho certeza que sero pequenos e no influenciam a anlise que se segue. De qualquer modo, penitencio-me antecipadamente, se erros existirem. A primeira observao que quando se tomam as subject categories individualmente, as normas estabelecidas para a construo da nova tabela Qualis desabam. Para demonstrar este colapso, comecemos pela Medicina 1. Para este conjunto, o sistema ISI-JCR reconhece a existncia de pelo menos 14 subject categories. A Tabela 2 mostra que todas, exceto uma, superam os 25%. Tambm constatamos que trs subject categories tem mais revistas A1 que A2. Em Medicina 2, trs subject categories superam 25% enquanto quatro ficam abaixo. Em Medicina 3, a prevalecer a proposta, todas as subject categories, exceto duas, superariam os 25%; enquanto uma teria mais peridicos A1 que A2. A Figura 1 mostra, para cada subject category de Medicina 1, 2 e 3 a percentagem de revistas ISI-JCR que atinge os nveis Qualis A1 a A2.

O novo Qualis, ou a tragdia anunciada Rocha-e-Silva M

CLINICS 2009;64(1):1-4

Tabela 1 - Nova tabela Qualis

Extrato Qualis A1 A2 B1 B2 B3 B4 B5 C Genericamente O mais elevado Medicina 1 FI > 4,2 4,2 FI > 3,7 3,7 FI > 1,0 FI < 1,0 PubMed, sem FI Scielo Lilacs, Latindex Sem indexao Medicina 2 FI > 3,8 3,8 FI > 2,3 2,3 FI > 1,0 FI < 1,0 PubMed, sem FI Scielo Lilacs, Latindex Sem indexao Medicina 3 (ainda sem deciso) FI > 3,0 3,0 FI > 1,8 1,8 FI > 0,8 FI < 0,8 PubMed, sem FI Scielo Lilacs, Latindex Sem indexao

Com peso zero

Segundo www.capes.gov.br e oficio CAPES 29/7/2008.

Tabela 2 - Distribuio de peridicos das subject categories ISI-JCR que interessam s reas CAPES de Medicina I, II e III pelas categorias Qualis A e B1
SUBJECT CATEGORY (ISI) REA - MEDICINA I ONCOLOGY IMMUNOLOGY ENDOCRINOLOGY HEMATOLOGY RHEUMATOLOGY CRITICAL CARE MEDICINE GASTROENTEROLOGY INFECTIOUS DISEASES CARDIAC & CARDIOVASCULAR SYSTEMS RESPIRATORY SYSTEM ALLERGY CLINICAL NEUROLOGY NEFROLOGY OPHTHALMOLOGY REA - MEDICINA II PSYCHIATRY RADIOLOGY PATHOLOGY DERMATOLOGY PEDIATRICS ANATOMY & MORPHOLOGY MEDICINE, LEGAL REA - MEDICINA III UROLOGY CARDIOVASCULAR SURGERY ANESTHESIOLOGY OPHTHALMOLOGY OBSTETRICS & GYNECOLOGY SURGERY ORTHOPEDICS OTORHINOLARYNGOLOGY nmero de peridicos 132 119 92 63 22 19 50 50 68 34 17 146 26 45 nmero de peridicos 94 87 66 41 78 17 16 nmero de peridicos 27 7 22 45 60 139 48 30 Qualis A* 47 46 45 43 41 37 36 36 31 29 29 29 27 16 Qualis A* 43 34 33 22 18 18 12 Qualis A* 56 43 41 36 35 31 25 17 % de peridicos classificados como Qualis A1** FI >4.2 29 19 21 21 14 16 20 16 15 15 12 13 15 4 Qualis A1** FI >3.8 16 10 14 5 4 0 6 Qualis A1** FI >3.0 19 29 14 13 10 12 4 0 Qualis A2** 4.2FI>3.7 18 27 24 22 27 21 16 20 16 15 18 16 12 11 Qualis A2** 3.8FI>2.3 27 24 20 17 14 18 6 Qualis A2** 3.0FI>1.8 37 14 27 22 25 19 21 17 Qualis B1 3.7FI>1.0 45 45 47 46 45 47 58 58 50 59 47 49 58 60 Qualis B1 2.3FI>1.0 38 40 48 56 42 53 63 Qualis B1 1.8FI>0.8 30 14 27 47 60 40 42 43

Fonte: http://pcs.isiknowledge.com. * Em amarelo as subject categories com mais de 25% de peridicos Qualis A. ** Em verde as subject categories com mais peridicos Qualis A1 que Qualis A2

CLINICS 2009;64(1):1-4

O novo Qualis, ou a tragdia anunciada Rocha-e-Silva M

Vrias concluses so importantes. Esta a coleo mundial de revistas ISI-JCR. A distribuio heterognea de fator de impacto pelas subject categoriesno reflete absolutamente uma diferena de qualidade entre cincias no comeo ou no fim da escala. Reflete apenas uma banalidade, conhecida de todos: o Fator de Impacto no pode ser aplicado em absoluto, porque diferentes reas do conhecimento atraem referncias de modo diferenciado. Entretanto, o novo Qualis equaliza todas as subject categories dentro de cada rea. J o fazia antes a velha tabela, mas a elevao extrema dos nveis de corte, modelo Harvard, agudizou a discrepncia, criando subject categories nobres e subject categories prias. Com relao regra dos 25%, v-se logo que para as categorias esquerda do grfico h um excesso de revistas Qualis A e uma escassez direita. A conseqncia bvia desta heterogeneidade dentro de cada rea que contribuies relativamente banais em subject categories esquerda merecero Qualis A, enquanto contribuies de alto valor em subject categories direita, tero baixssima chance de chegar a esse nvel. Quando se combina, por um lado a regra que limita a 25% os programas de excelncia e, por outro, a heterogeneidade das subject categories, fcil deduzir aquilo que no ttulo defini como a tragdia anunciada: subject categories esquerda povoaro os nveis mais altos de excelncia excluindo as subject categories direita. Esta colonizao diferenciada no ser determinada por qualidade diferenciada, mas por atrao diferenciada de citaes. perfeitamente lcito supor que as novas regras estejam prestes a premiar banalidade na ponta superior. J na outra ponta, garantido que vamos punir qualidade. Na rea de Medicina 3 h o caso extremo: um pesquisador brasileiro pode ganhar o Prmio Nobel por uma descoberta em otorrinolaringologia e no conseguir a glria caseira de um Qualis A1! Finalmente uma palavra a respeito dos peridicos brasileiros. Para marcianos que ainda nem desembarcaram, o Brasil um pas do quarteto BRIC, ou do sexteto BRICKT (BRIC mais Korea e Turquia). A cincia nestes pases cresce mais depressa que no primeiro mundo, muito mais depressa que no resto do terceiro mundo. Todos estes pases (Brasil inclusive) tm polticas oficiais agressivas de fomento aos peridicos nacionais, por entenderem que peridico autctone de alta qualidade imperativo de soberania e segurana. Por outro lado fato bem conhecido que peridicos do terceiro mundo tem um vis negativo para captao de citaes. No sou ingnuo a ponto de crer que os peridicos BRICKT publicam cincia equivalente do primeiro mundo: o que

Figure 1 - Porcentagens de peridicos em cada subject category ISI que se enquadram nos Nveis Qualis A1 e A2 propostos para Medicina I, II e III

O novo Qualis, ou a tragdia anunciada Rocha-e-Silva M

CLINICS 2009;64(1):1-4

publicamos inferior ao que aparece nos peridicos l de cima! Mas isso no exclui a existncia de vis: a diferena de citao maior que a diferena de qualidade. Bem a propsito, em maio do prximo ano, sou palestrante convidado num debate do congresso anual do Council for Science Editors dos Estados Unidos: Bridging the Geographic Science Gap: Editors View of Evaluating and Rating Scientific Papers. Mauricio Rocha e Silva, MD, Editor, CLINICS; Ana Marusic, MD, Croatian Medical Journal; Adrian Stanley, The Charlesworth Group. Peer-review is the gold standard for pre-publication manuscript evaluation. How good is it? Citations are how we evaluate published science. Citations have differential properties intrinsically related to subject area, journal visibility, geographic origin, language. How do we bridge these gaps? Ainda no possvel quantificar com exatido o tamanho deste vis. Esta uma das metas da citada mesa de debate e tambm do Council Americano. pois evidente que a CAPES no deveria apoiar os peridicos brasileiros com a mo direita do financiamento e prejudic-los com essa anunciada mo do novo Qualis. A nova tabela exclui radicalmente a totalidade das revistas

brasileiras at mesmo do Qualis A2. Realisticamente, no creio que existam revistas brasileiras Qualis A1. Talvez seja o caso de repensar este caso e introduzir um fator de correo suficiente para que as nossas melhores publicaes cheguem a Qualis A2. Seria um poderoso incentivo a estes peridicos e algo que os colocaria no caminho de se tornarem verdadeiros veculos de excelncia internacional. Em concluso, parece-me que algumas das premissas precisam ser repensadas. Os nveis propostos parecem altos demais. Parece que os autores resolveram aplicar um metro tipo Harvard ao Sistema brasileiro sem se darem conta que ainda temos que crescer um bocado antes de encarar Harvard de igual para igual. A regra dos 25% parece provir de um ilusrio wishful thinking: mas no adianta desejar ardentemente que a distribuio de freqncia de conceitos seja normal, porque a heterognea verdade brasileira garante que essa distribuio ser qualquer coisa, menos normal. Finalmente, um pouco de patriotismo sadio nunca fez mal a ningum (perguntem aos americanos!): algum suporte aos peridicos brasileiros imperativo. No estou sugerindo que se escancare a porteira: apenas que se d aos peridicos brasileiros metas atingveis de ambio de progresso.