Olá pessoal. Escrevi no início do ano um trabalho sobre as revistas de educação do Brasil, e comparei com revistas de educação de elevado impacto acadêmico de vários países desenvolvidos (dos EUA, de UK, da Alemanha, de Portugal, etc). Esse texto saiu na Gazeta do Povo em abril de 2019. Posteriormente fiz uma atualização para O LIVRE.
Comparei a produção em Educação, quantificada em 2015 (baseada no triênio 2013 a 2015), de revistas brasileiras com revistas de países desenvolvidos. O que verifiquei é que, aproximadamente, apenas 1 de cada 5 artigos nacionais era citado. Enquanto isso, ocorria exatamente o oposto entre os artigos das revistas do primeiro mundo.
Os meus críticos disseram que estava usando uma base de dados antiga (2013 a 2015; quantificado em 2018), e que as revistas do Primeiro Mundo seriam muito heterogêneas (por serem de vários países – leiam meu artigo anterior para conhecer os detalhes das amostragens).
Para responder aos críticos, resolvi simplificar a análise. Peguei as cinco revistas de mais impacto do Brasil (segundo o critério da classificação SJR da Plataforma Scimago), versus as 5 revistas de maior impacto do mundo. Por coincidência as cinco revistas de maior impacto do mundo – as “top 5” – eram todas dos EUA. Os dados brutos estão logo abaixo, para as revistas do EUA.
https://www.scimagojr.com/journalrank.php?category=3304
Foram consideradas 591 publicações citáveis (de um total de 628 artigos), no período de 2016 a 2018. Esses trabalhos recebam 3922 citações – no total. Ou seja, estamos falando de 6,6 citações por publicação (CPP=6,64), com 3 anos de acompanhamento. A tabela acima mostra o índice CPP de uma base de apenas dois anos de acompanhamento, resultando em 5,2 citações por artigo (valor diferente do CPP de 3 anos de acompanhamento).
Olhando individualmente os valores de CPP para 3 anos de cada revista (12,57; 4,46; 5,35; 5,73; e 6,16) obtemos o valor médio de 6,85. O total de artigos das 5 revistas que recebeu pelo menos uma citação foi de 555 (84 + 88 + 52 + 115 + 216 = 555 artigos citados). Representam 94% dos artigos citáveis das 5 revistas.
Em resumo, aproximadamente, de cada 20 artigos dessas cinco revistas, 19 são citados. Além disso, em média, cada artigo recebeu de 6,64 a 6,85 citações (utilizando a base de 3 anos de acompanhamento) – vamos simplificar para CPP=6,8.
E as revistas nacionais?
Abaixo está a lista das cinco revistas nacionais de Educação de maior impacto em 2018. Foram publicados nessas revistas 998 artigos citáveis entre 2016 e 2018. Esses artigos receberam, no total, 509 citações no período de 3 anos, ou seja, CPP=0,51. Isso resulta em aproximadamente em apenas 1 citação para cada 2 artigos. Os valores de CPP para cada revista (com 3 anos de acompanhamento) foram: 0,69; 0,50; 0,09; 0,84 e 0,40. O valor médio foi de 0,50. Verificamos ainda que 289 artigos (102 + 53 + 14 + 60 + 60) das 998 publicações, receberam pelo menos 1 citação – ou seja 29% desses artigos foi citado.
https://www.scimagojr.com/journalrank.php?country=BR&category=3304
Comparação das revistas nacionais com as dos EUA
A seguir mostramos as comparações dos dois principais resultados: percentual de artigos citados e índice CPP. Verificamos que as diferenças entre revistas nacionais e americanas são acachapantes. São apenas 29% de artigos citados nas revistas nacionais contra 94% das revistas dos EUA.
Com relação ao impacto dos artigos, verificamos CPP=6,8 (valor médio) para os estudos das revistas dos Estados Unidos e CPP=0,51 para as publicações do Brasil. É uma imensa diferença, de 13 vezes.
A quantidade média de citações, por revista, dos periódicos brasileiros foi de 102, contra 784 das revistas internacionais. A grande diferença precisa ser corrigida pelo fato de serem 69% artigos citáveis a mais nas revistas americanas. Feita a correção, temos uma diferença de 4,5 vezes de citações entre os dois grupos de revistas. Ainda sim uma imensa diferença.
Aproximadamente, de cada 10 artigos nacionais, apenas 3 são citados. É um aumento muito pequeno em relação ao texto que publiquei no início do ano, que indicava apenas 2 artigos citados para cada 10 (ou seja, 1 citado de cada 5 artigos). “Cá pra nós”, continuamos muito fracos na pesquisa em educação.
Qualis da CAPES
Para encerrar, avaliei o conceito Qualis das revistas nacionais (o Qualis é uma classificação que a CAPES dá para as revistas, que supostamente relaciona com a respeitabilidade e impacto das mesmas). Verifiquei que quatro das revistas analisadas estão no extrato A1 do Qualis e apenas uma delas é A2 – justamente a que está em 1º no ranking SRJ das revistas nacionais. Por outro lado, não existe conceito Qualis para as cinco revistas norte-americanas que pesquisamos. Isso se deve ao fato de nenhum brasileiro ter publicado nesses periódicos.
Mas voltando às revistas nacionais, gostaria de saber se o leitor acha certo que uma revista com CPP=0,08 ser classificada como Qualis A1 (que é o topo da escala). Esta revista, História da Educação (https://seer.ufrgs.br/asphe), está em 554º lugar no ranking SRJ dos periódicos de Educação do mundo (são 1222 revistas de Educação na lista da Scimago, sendo 19 do Brasil). Observem que não estou criticando o conteúdo dos artigos, e sim o impacto (citações) dos mesmos.
Vejamos outros exemplos. A revista Interface (Qualis A2), que está em 1º no ranking SJR dos periódicos nacionais de Educação, está em 453º no ranking global. Se verificarmos o ranking SJR das revistas nacionais de todas as áreas, a Interface está em 59º lugar na lista de 378 revistas indexadas pela Scimago. A 2ª colocada do ranking nacional de educação, a revista Educação e Sociedade (Qualis A1), está em 78º lugar na listagem das 378 revistas nacionais. Mesmo entre as revistas do Brasil, as de educação apresentam impacto muito reduzido.
Se faz necessário, urgentemente, reavaliar a classificação Qualis das revistas de educação do Brasil. Sem isso não há estímulo para se publicar nas melhores revistas do mundo, já que os periódicos nacionais pontuam muito bem. Não é por acaso que amargamos o último lugar mundial em impacto entre os 35 países que mais produziram na área de Educação em 2018. O impacto do Brasil nessa área é apenas 19% do observado nos trabalhos do 1º lugar. Um resultado muito fraco.
Curiosamente, o Irã foi o 1º colocado no ranking CPP em 2018 quando considerando países com pelo menos 400 publicações em Educação (em revistas indexadas no Scopus). A Holanda tem sido a 1ª colocada na maioria dos anos, desde 2007. Ficou em 2º lugar em 2016, quando Bélgica venceu a “medalha de ouro”. Precisamos conhecer os estudos em Educação desses três países (Irã, Bélgica e Holanda). Quem sabe não aprendemos alguma coisa?
PS: Para quem acha que tenho algum problema com pesquisa em Educação, estão muito enganados. Abaixo referências de estudos meus na área de educação, publicados em revistas internacionais:
- Blog construction as an effective tool in biochemistry active learning. Biochem Mol Biol Educ. 45(3):205-215, 2017
- What’s on the news? The use of media texts in exams of clinical biochemistry for medical and nutrition students. Biochem Mol Biol Educ. 38(2):85-90, 2010.
- The use of multiple tools for teaching medical biochemistry. Adv Physiol Educ. 32(1):38-46, 2008
- Pizza and pasta help students learn metabolism. Adv Physiol Educ. 30:89-93, 2006.
- The Relevance of student seminars on clinically related subjects in a biochemistry course for medical and nutrition students. Biochem Mol Biol Educ. 30(1) 30 –34, 2002.
_________________________
PS: Agradeço aos professores Adson Rocha (UnB), Hélio Augusto Godoy de Souza (UFMS) e Aline Loretto (Colégio ALUB) pela revisão deste artigo.
_________________________
Apêndice: Planilhas de valores
LEIA TAMBÉM
https://olivre.com.br/do-esquerdismo-ao-conservadorismo-um-relato-pessoal
