Qual o impacto científico internacional da maior universidade do Brasil?

*Por Marcelo Hermes Lima, Luís Fabiano Borges e Eduardo Fox

Qual a percepção do cidadão de classe média, pagador de impostos, acerca de nossas universidades públicas?

Seguindo a onda de polarização que se instalou no país desde antes da eleição do Presidente Bolsonaro, podemos dizer que prevalecem duas perspectivas diametralmente opostas com relação a essas instituições na grande mídia.

A primeira perspectiva exalta a imensa quantidade de alunos formados (tanto na graduação quanto na pós), bem como a indexação anual de milhares de publicações científicas em bases internacionais. A Universidade de São Paulo (USP), por exemplo, consta como a 8ª colocada do mundo na quantidade total de publicações científicas nessas bases.

Trata-se de motivo de grande júbilo, sobretudo para os segmentos sociais que se identificam à esquerda do espectro político.

Na segunda perspectiva, as universidades públicas seriam o retrato da decadência e de pessoas que nada produzem de relevante para o pagador de impostos.

Desse modo, essas narrativas opostas levam a crer que não estamos falando do mesmo lugar, o que espanta muitos pais quando seus filhos ingressam nas universidades públicas brasileiras.

  1. Leiden Ranking

A realidade dos números situa-se, no entanto, no meio dessas duas visões. As universidades brasileiras não são nem um oásis da ciência, nem tampouco “apenas joio” — há muito, muito trigo bom aí.

Para melhor compreensão, analisaremos os números reconhecidos internacionalmente. Inicialmente, ressaltamos que os rankings internacionais costumam apresentar critérios subjetivos, como por exemplo o ranking Times Higher Education (THE), o mais popular atualmente.

O THE está baseado em 13 diferentes indicadores de qualidade sob a forma de notas conferidas em ensino, pesquisa, etc.

Na presente análise, optamos por analisar os dados de acordo com o Leiden Ranking, que foca nos indicadores de impacto em pesquisa conforme a base de dados Web of Science, utilizada também por grandes agências internacionais como a Clarivate Analytics.

No Leiden Ranking, verifica-se o posicionamento da USP em 8º lugar do mundo com relação à quantidade de artigos científicos.

Entretanto, analisaremos outros aspectos neste estudo, com destaque para o impacto gerado por essas publicações, mensurando-se a relevância que os milhares de artigos parecem causar na comunidade científica internacional.

Sendo assim, investigaremos a USP em comparação com universidades estrangeiras para que o leitor, caso tenha interesse, julgue por si o estado da arte das demais universidades brasileiras.

De acordo com o Leiden Ranking, a USP publicou 16.846 artigos indexados na base Web of Science durante o quadriênio 2014-2017.

Dessas publicações, 1.051 constam no seleto grupo dos 10% de artigos mais citados do mundo, ou seja, 6,2% dos artigos da USP estão no grupo PP(top 10%), que chamaremos de %-top-10%:

Pelo ranking mundial segundo o %-top-10%, o 1º colocado é o Massachusetts Institute of Technology (MIT), com 24,6% dos seus artigos no grupo top-10.

A primeira instituição fora dos EUA nessa lista é o Weizmann Institute, de Israel (7º colocado). Em 8º lugar, aparece o London School of Hygiene and Tropical Medicine (Inglaterra). A USP aparece na 775ª posição mundial, com seus 6,2% de artigos no grupo %-top-10% mundial:

E qual é o impacto da USP com relação a outras instituições na América do Sul no Leiden Ranking? Atualmente, a USP ocupa o 12º lugar.

A Universidad de Chile lidera esse grupo com 7,9% de artigos %-top-10% (617º no ranking mundial de impacto), seguida da Católica do Chile.

A universidade brasileira que aparece mais bem classificada nesse grupo é a Universidade Federal do Ceará (UFC), em 4º lugar na classificação do continente (7,1% de artigos em %-top-10%) e 711o lugar no ranking mundial. A Universidad de La República (Uruguai) e a Universidad de Buenos Aires (Argentina) ficaram em 4º e 13º lugares respectivamente, conforme pode ser verificado a seguir:

Para tentar analisar a verdadeira “elite da elite” da produção científica, podemos averiguar o seleto grupo de 1% dos artigos mais citados do mundo.

Apenas estudos especiais ocupam esse estrato, pois atraem muitas citações e atenção da comunidade internacional. Dentro dessa categoria, a USP produziu 78 publicações no quadriênio 2014-2017, o que representa 0,5% dos artigos da universidade (i.e. 753º lugar mundial no ranking %-top-1%).

Não há variação significativa de artigos brasileiros nesse seleto grupo, visto que as 23 universidades brasileiras listadas apresentaram um percentual de 0,2% a 0,5% de suas publicações.

Em 2019, alguns indícios do baixo impacto médio dos artigos da USP foram discutidos em três outros artigos de jornal (links 1 a 3) e em um editorial do Estadão (link 4).

No ano anterior, havíamos apresentado esses números para alguns núcleos de ciência e tecnologia do país. Infelizmente, mesmo após ampla divulgação desse lado da história, muitas pessoas ligadas à educação (incluindo jornalistas e pesquisadores conhecidos e de alta produtividade) persistem em misturar a posição mundial da USP sobre a quantidade absoluta de artigos (8ª posição) com o seu impacto relativo (775º posição).

Seria essa narrativa unilateral uma confusão com os dados ou uma mistura intencional de conceitos?

  1. As cinco grandes áreas da pesquisa

O quadro analisado até o momento refere-se à produção científica da universidade como um todo. Podemos também avaliar grandes áreas do saber separadamente, dentro do próprio Leiden Ranking. Comecemos pelas Ciências Biomédicas e da Saúde (CBS).

O MIT é o 1º colocado na grande área de CBS, com 663 dos seus 2.204 artigos entre aqueles que se destacaram como %-top-10% nessa área, correspondendo a 30,1% de seus artigos no %-top-10%.

Com 8.391 trabalhos na área e 11º lugar global em quantidade, a USP apresenta 6,9% de publicações em %-top-10%, figurando como a 657ª colocada do mundo em impacto.

Mesmo com essa posição nada favorável no ranking com relação ao impacto global, a USP produziu 496 artigos %-top-10% em CBS entre 2014 e 2017, o que é relevante.

Em termos de %-top-1%, a USP produziu 39 artigos em CBS durante o período, classificando-se em 612º lugar do mundo (0,5% das publicações).

No caso de Ciências da Vida e da Terra (CVT), o primeiro colocado em impacto é a Hunan University (China), com 26,3% de artigos %-top-10% (i.e. 123 entre 467 publicações).

A USP (1ª colocada mundial em quantidade nessa área, com 3.703 artigos em CVT) apresentou 262 artigos %-top-10%, ou seja, 7,1% de publicações no top-10% (618º lugar do mundo). Os artigos da USP em %-top-1% foram apenas 16, sendo assim a 641ª colocada global.

Em Matemática e Ciência da Computação (MCC), a USP ficou em 40º lugar do mundo em quantidade, com 1.060 artigos (do 1º ao 12º lugar só há universidades da China!), dos quais 74 trabalhos se destacaram como %-top-10% (6,9% ou 608º lugar do mundo).

Sete artigos estavam no %-top-1% do mundo (499º lugar global). A instituição mais bem classificada em %-top-10% foi a Griffith University (Austrália), com 22,9% de publicações — i.e. 35 de 154 artigos.

Em Engenharias e Ciências Físicas (ECF), a Harvard University foi a “medalha de ouro” em impacto, com 875 entre 3.211 publicações como %-top-10% do planeta.

A USP, com 3.248 publicações (57º lugar quantitativo em ECF), emplacou 197 trabalhos como %-top-10% (789º lugar mundial) e apenas 15 entre os %-top-1% (738º lugar).

A Princeton University ficou em 1º lugar em Ciências Sociais e Humanidades (CSH) quanto ao impacto, com 26,1% de artigos %-top-10%.

A USP obteve 22 entre os seus 444 trabalhos na área como %-top-10%, o que corresponde a 5%. Ficou no 229º lugar do mundo em quantidade de trabalhos e em 523º lugar em %-top-10%. Apenas 1 trabalho da USP em CSH figura entre o grupo %-top-1%.

É curioso observar que, entre as cinco grandes áreas analisadas, foi justamente em Humanas (CSH) que a USP obteve sua melhor colocação mundial em impacto (523º lugar).

Apesar dessa colocação um pouco mais relevante no Leiden Ranking, o menor resultado em %-top-10% foi também em Humanas (5,0%), evidenciando um descolamento particularmente marcante nessa grande área do saber.

  1. Linha do tempo do impacto

Todos os dados analisados até o momento eram do atual quadriênio. O que ocorreu na linha temporal? Houve uma discreta melhora do impacto da USP desde 2009, saindo de 5,3% de artigos %-top-10% em 2006-2009 para 6,2% em 2014-2017.

Essa melhora de impacto de aproximadamente 1% também ocorreu na Católica do Chile (de 7,0% para 7,9-8,2%) e no MIT (de 23,9% para 25%). O MIT é o 1º lugar convicto do mundo, enquanto a Católica do Chile foi “medalha de ouro” do continente latino-americano em 8 dos 9 quadriênios analisados.

Atualmente (2014-2017), a Católica do Chile está no 617o lugar em impacto (i.e. 158 posições à frente da USP). O melhor desempenho que obteve foi em 2012-2015: 563o posição.

  1. Relação com a indústria

O último dado importante sobre a produção de artigos da USP diz respeito à parceria com a indústria. Em termos de quantidade absoluta, a USP é a primeira colocada no Brasil, com 819 artigos em parceria com a indústria, representando 2,5% da produção total do atual quadriênio.

Em termos relativos, a USP está no 8º lugar no Brasil e em 799º lugar do mundo. A 1ª colocada do Brasil é a UFRJ, com 4,0% das publicações em colaboração com a indústria (i.e. 594ª colocada do mundo).

A USP detinha 1,9% dos artigos (385 publicações) com o setor industrial em 2006-2008, indicando um crescimento, ainda que pequeno, na participação no setor produtivo.

Qual é a nossa posição relativa no âmbito mundial? No quadriênio 2014-2017, a primeira colocada do mundo, em termos relativos, foi a China University of Petroleum Beijing, com 25,1% das publicações em colaboração com a indústria (1.001 de 3.993 artigos).

O valor médio dos cinco primeiros colocados (vide imagem abaixo) foi de 18,1%, o que representa uma diferença de 7,2 vezes com relação à USP e 4,5 vezes com à UFRJ.

Em termos absolutos, o 1º lugar do mundo é Harvard University, com 5.395 publicações em conjunto a indústria (7,2% do total). A diferença para a USP — em termos relativos — foi de 2,9 vezes.

  1. Discussão e Conclusão

Neste artigo, recorremos a ferramentas cientométricas para viabilizar uma análise minimamente objetiva sobre a produção científica global, visto que é inviável avaliar a qualidade de milhares de artigos produzidos anualmente por tantos países.

O Leiden Ranking disponibiliza 5 grandes áreas do conhecimento em sua base, na qual podem ser extraídas importantes informações acerca da produção científica global de forma gratuita.

Quanto ao critério quantitativo, a USP realmente apresenta uma produção considerável. Aliás, a evolução quantitativa brasileira tem sido bastante significativa desde 2009, conforme discutimos em vários artigos publicados em 2019, ainda que estejamos bem distantes da produção dos EUA e da China (link 5).

Alguns relatórios internacionais destacaram os artigos brasileiros do grupo top 1% (conhecidos como highly cited papers), o que é bom para a reputação do Brasil.

Por exemplo, o amigo e virologista Prof. Paolo Zanotto obteve 3,5 mil citações contabilizadas pelo Google Acadêmico apenas entre 2016 e 2019 (link 6).

Conforme vimos, a USP produziu 78 publicações nesse grupo seleto no quadriênio 2014-2017, o que representa apenas 0,5% da produção da universidade.

Graças a pesquisas com esse nível desempenho, o Brasil apresentou discreta melhora do impacto com relação a essa parte elevada da pirâmide da ciência — o grupo de 1% dos artigos mais citados no mundo. Sabemos que citações não possuem a mesma frequência entre distantes áreas do saber e universidades não se limitam a esse indicador, mas existe uma disfuncionalidade institucional clara decorrente da prática quantitava.

O impacto das publicações brasileiras apresenta um problema notório se verificarmos a base da pirâmide. Até mesmo o parâmetro %-top-50% do Leiden Ranking indica resultados similares ao que apresentamos neste artigo.

Observa-se uma tendência de melhora da pesquisa brasileira nos últimos anos com relação a uma pequena quantidade de artigos de grande visibilidade internacional, produzidos por poucos grupos de pesquisa.

Um país de dimensões continentais não pode depender de ilhas de competência, sobretudo se considerarmos os vultosos investimentos realizados na educação superior.

Não há dúvidas de que é necessário buscar uma produção sistemática mais equilibrada, focada em melhorar a qualidade na base dessa pirâmide. Para tanto, é preciso alterarar a estrutura de incentivos, o que não implica dizer que investimentos públicos devam se concentrar na elite estabelecida.

Para compreender o impacto global por meio das citações científicas, é necessário recorrer ao senso de proporção. A quantidade absoluta de publicações indexadas não é um bom indicador para qualidade.

Há universidades que apresentam impacto relativo bem superior ao da USP, ainda que publiquem menos artigos (Princeton Univ., Caltech e Weizmann Inst Sci), ou até mais artigos (Johns Hopkins Univ., Univ. Toronto, Harvard Univ. e Univ. Michigan), ou, ainda, quantidade similar (Columbia Univ., Univ. Cambridge, Univ Coll London, Univ. Washington e UCLA).

Valores absolutos são extremamente capciosos e, na maior parte das vezes, não revelam quase nada sobre a realidade socioeconômica dos países.

Por exemplo, o Brasil destaca-se entre as 13 maiores economias mundiais há décadas, sobretudo pelo fato de ser um dos países mais populosos do mundo, mas a renda média ainda é extremamente baixa, uma vez que a produtividade também é baixa.

Na realidade, a renda per capita brasileira condiz com o posicionamento do nosso índice de desenvolvimento humano (IDH).

A ciência brasileira, por sua vez, apresenta um comportamento análogo, embora os conceitos cientométricos usados para avaliar esse quadro sejam desconhecidos do grande público.

Há mais de uma década, o Brasil está entre os 15 países que mais produzem artigos científicos no mundo.

Entretanto, na média, o impacto científico brasileiro ainda é baixo se comparado ao do resto do mundo. Talvez o baixo impacto científico explique uma falta de convergência entre a ciência sendo produzida e os setores de tecnologia e de inovação do país, além de apresentar uma triste semelhança com os nossos indicadores socioeconômicos e com o baixo desempenho no PISA.

A presente análise permite afirmar que os desafios a serem superados pela comunidade científica nacional residem na base, o que não apresentará melhora com uma simples e irresponsável injeção indiscriminada de recursos e crescimento desenfreado.

A ciência brasileira precisa de severas alterações e de uma reavaliação interna para que possa promover um crescimento mais ordenado.

Não há dúvidas de que a USP apresenta um desempenho destacado em relação a outras universidades brasileiras, mas a percepção pública sobre a produtividade científica pode ter sido polarizada por narrativas que se deixam seduzir por números que afastam um quadro bem mais complexo.

Diante da presente análise e dos dados apresentados, esperamos que o quadro fique um pouco mais completo e equilibrado para permitir o leitor julgar: seria a USP um bom exemplo de universidade para formar cientistas? Em que poderíamos contribuir?[1] 

_______________ 

Link 1:

https://www.gazetadopovo.com.br/educacao/tamanho-nao-e-documento-nossas-universidades-produzem-milhares-de-pesquisas-mas-impacto-global-e-pequeno/  (26/março)

Link 2:

https://www.estadao.com.br/infograficos/educacao,universidades-brasileiras-sob-o-microscopio,1061261 (23/dez.)

Link 3:

https://braziljournal.com/complexo-de-chernobyl-a-usp-e-o-preco-da-mentira (01/set.)

 

Link 4:

https://opiniao.estadao.com.br/noticias/notas-e-informacoes,o-ranking-das-universidades,70003135905 (25/dez.)

 

Link 5: 

https://olivre.com.br/a-incrivel-revolucao-da-ciencia-da-china

 

Link 6: 

https://scholar.google.com/citations?user=Qd_URJY2owAC&hl=pt-BR

 

[1] Este estudo foi feito selecionando a opção fractional counting do Leiden Ranking, de modo que as publicações em coautoria dos pesquisadores apresentam peso menor. Ao desmarcar essa opção, todas as publicações apresentam mesmo peso no Leiden. No caso da USP, o posicionamento fica ligeiramente melhor no ranking (702º posição), o que reforça nossa ideia defendida em outros trabalhos sobre a importância da real internacionalização da pesquisa científica do Brasil por intermédio de redes de colaboração mais efetivas.

Use este espaço apenas para a comunicação de erros





Aceito que meu nome seja creditado em possíveis erratas.

O LIVRE ADS