PESQUISA CIENTÍFICA BRASILEIRA

Rumo à lanterninha mundial da ciência?

Especial para o BSM · 13 de Fevereiro de 2020 às 10:32 ·

Modelo criado pelo PT tornou o Brasil um país que produz muita pesquisa, mas com baixa qualidade média. O desafio do atual governo é reverter esse quadro — ou seremos os últimos do planeta em 2023

Em dezembro de 2018, conheci pessoalmente o professor Marcelo Hermes-Lima, durante os trabalhos do governo de transição em Brasília. Na ocasião, tivemos longas e interessantes conversas sobre política, educação e pesquisa científica. Marcelo Hermes é um dos pesquisadores mais conceituados do país. Em sua área de atuação — a bioquímica — ele tem mais de 6 mil citações em publicações científicas internacionais, um verdadeiro recorde. Mas os talentos de Marcelo não se esgotam aí. Há dez anos, ele realiza um corajoso trabalho de cientometria — o campo do conhecimento que mede a qualidade e a efetividade das pesquisas científicas. Até a eleição de Jair Bolsonaro, esse aspecto de seu trabalho era ignorado, quando não execrado, pelas doutas figuras que mandavam (e ainda pretendem mandar) na pesquisa científica nacional. A partir de 2019, no entanto, ele começou a publicar artigos que mostram as seriíssimas deficiências da pesquisa no Brasil. O presente artigo, escrito em parceria com Fabiano Borges, analista da Capes, é uma espécie de compêndio desse trabalho revelador. É preciso ouvir o que o professor Marcelo Hermes tem a dizer, para que a ciência brasileira não se perca no abismo da irrelevância. (Paulo Briguet, editor-chefe do BSM)

Marcelo Hermes-Lima e Fabiano Borges Especial para o BSM

Olá, leitores, do Brasil Sem Medo. o artigo abaixo está dividido em duas partes. A primeira é de Marcelo Hermes-Lima (prof. de Bioquímica da UnB e presidente da associação Docentes pela Liberdade), sobre os números das universidades e da ciência. A segunda parte é de autoria de Fabiano Borges, analista da Capes.

1.1. O impacto da ciência

Há muitos meses estamos escrevendo em colunas de jornal sobre o impacto da ciência e da pesquisa acadêmica do Brasil. Fizemos análises de diversas áreas, como História, Sociologia, Saúde Pública, Educação, Direito e Ciência Política (Links 1). Além disso analisamos, de forma mais geral, as grandes disciplinas de Humanas, Ciências Biológicas, Saúde, e as áreas de Exatas e Tecnologias (Links 2). O que verificamos é que o Brasil, em todas essas disciplinas, publica em grande quantidade. Só em 2018 foram mais de 80 mil artigos publicados em revistas internacionais indexadas na plataforma Scopus. Entretanto, o impacto científico médio dos artigos no âmbito mundial é baixo.

O que interessa para uma nação é a relevância das publicações cientificas e não sua quantidade – e a relevância e impacto de milhares de estudos é feita pela análise da quantidade de citações desses trabalhos. Assim, o Brasil está em 14^o lugar mundial em quantidade de estudos médicos, mas ficamos em 42^o em impacto entre 48 países com ao menos 2.000 publicações na área. Esse problema de baixo impacto aconteceu em TODAS as áreas que pesquisamos até o momento, exceto em Astronomia, onde o Brasil realmente está melhorando a cada ano. Nessa área, o Brasil está hoje com um impacto do mesmo patamar dos países europeus e do Chile (Link 3).

Importante lembrar que a distribuição de citações por pesquisador é muito heterogênea, logo é preciso trabalhar com a média de impacto quando estamos falando de milhares de publicações. Quem estudou um pouquinho de estatística conhece o conceito distribuição gaussiana – pois é assim que é distribuído o impacto entre grupos de pesquisadores. É preciso dizer que há pesquisadores MUITO acima da média (artigos brasileiros publicados em 2017 têm em média 2,2 citações).

1.2. Por que analisar a ciência produzida nas universidades?

Quando o grande público olha para esses resultados sobre nossa ciência, ou mesmo um político, pensa assim: “O que eu tenho com isso? Não tenho interesse no trabalho de cientistas!”. Não pretendo aqui fazer como a esquerda, que dá lição de moral explicando o quão importante é a ciência e tecnologia para o desenvolvimento de uma sociedade. Esse discurso é cansativo (mesmo para cientistas!) e não o faremos. Então, por que gastar tanto tempo analisando a ciência se quase ninguém se interessa por ela? A resposta não é tão simples, mas tentaremos explicar. Fazemos isso, pois é a única forma de avaliar com precisão o desempenho as universidades brasileiras, onde milhões de brasileiros estudam ou estudaram. Para que nossa sociedade dê certo, é fundamental que possamos confiar nos médicos, advogados, professores, engenheiros, farmacêuticos e contadores que saem da universidade. Se não, meu amigo, é game over.

Há muitas tentativas de avaliar a qualidade do outcome da universidade, mas nenhum método de quantificar o aprendizado dos alunos — ou o desempenho pedagógico — é realmente satisfatório. Nesse sentido, temos que pensar numa outra forma de avaliar o trabalho dos docentes, assim como a atividade de pesquisa que desenvolvem. Se a pesquisa de um docente é muito boa, se gera publicações de alto impacto (ou seja, recebe muitas citações), podemos pensar que seja capaz de formar bons profissionais atrás de sua atividade docente. Se faz pesquisas medíocres que ninguém lê, que ninguém cita, é difícil imaginar que seja um bom professor em sala de aula. Obviamente que estou me referindo a docentes de instituições onde há pesquisa científica séria.

Portanto, vem daí a necessidade de avaliar o impacto das pesquisas universitárias, pois é uma forma relativamente simples e barata de quantificar o desempenho dos docentes. Isso, na verdade, já vinha sendo feito pelo MEC e pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) há mais de uma década, mas focado na mera contagem de publicações (mais recentemente em outros parâmetros também, como a suposta qualidade das revistas onde são publicados os artigos). Se uma universidade publica muitos trabalhos científicos, logo ela estaria muito bem, certo? Durante os governos Lula e Dilma, era constante ver palestras do então presidente da CAPES louvando o aumento contínuo, ano a ano, da quantidade de artigos publicados pelo Brasil, que acontecia em paralelo com o grande aumento anual de títulos de doutorado (de 6,9 mil em 2002 para 21,4 mil em 2017). Para esse ex-presidente da CAPES, só importava a quantidade de artigos, e não a qualidade.

Vejamos por exemplo o caso da USP. Está em 8^o lugar do mundo em quantidade de artigos (Link 4). Foram 16,8 mil publicações indexadas na plataforma Web of Science no quadriênio 2014 a 2017. Isso tem sido comemorado de forma abundante pela grande mídia. Entretanto, quando olhamos o impacto dessas publicações, o cenário é outro.

Cada artigo da USP do quadriênio 2014 a 2017 recebeu em média 4,1 citações e o total de citações foi 68,4 mil. Além disso, apenas 6,2% dos artigos (1.051 dos 16,8 mil) estão entre os 10% mais citados do mundo – que é um índice chamado de %-top10%. A universidade que está em 1^o lugar do mundo nesse indicador de impacto é o MIT, com 24,6% dos seus artigos entre os 10% mais citados do mundo (2.552 de 10,3 mil artigos). Cada artigo do MIT apresentou em média 15,5 citações. Em termos de quantidades absolutas de publicações, o MIT está em 57^o lugar do mundo, muito abaixo da USP. Mas verificamos que o impacto dos artigos do MIT é 4 vezes maior que os da USP.

A USP está em 775^o lugar do mundo no ranking de impacto %-top10%. Esse ranking produzido pela Leiden University é o mais respeitado do planeta para classificação de universidades. Harvard está 4^o lugar do mundo em impacto, mas 1^a em quantidade de artigos. Assim, está provado que possível uma instituição produzir muita ciência com boa qualidade.

Vejamos outro exemplo, a UFRJ. É maior universidade federal do Brasil (em orçamento e quantidade de alunos), e a 5^a colocada do Brasil em artigos indexados no Web of Science. Para o quadriênio 2014-2017 está em 6^o lugar do Brasil em impacto, com 6,5% de artigos na lista top-10%. Está, porém, em 753^o lugar no âmbito global – até um pouco mais bem posicionada que a USP. A imagem abaixo mostra as dez universidades brasileiras que mais produzem, em quantidade, segundo o Leiden Ranking.

1.3. Como estão as diferentes áreas do saber na pesquisa?

Realizamos recentemente uma avaliação de impacto de 24 áreas, relativas a publicações de 2017. Fizemos comparação cientométrica com Portugal, pois muitos de nossos críticos dizem que o problema do baixo impacto de nossa ciência seria o idioma, afinal apenas 3,5% dos habitantes do mundo falam português. Se fosse esse o problema, as publicações de Portugal teriam baixo impacto, certo?

A análise foi feita por meio do Rank Score é uma escala de 0 a 10. Nesta escala recebe zero o país que está em último lugar no ranking de impacto (que é feito classificando países em citações por publicação – CPP), e recebe dez o país 1^o colocado. Verificamos que estamos atrás de Portugal em 23 de 24 áreas – e isso porque a Odontologia portuguesa não pôde ser analisada devido ao reduzido número artigos. O Rank score médio do Brasil nas 24 áreas foi 1,8 (valor baixíssimo). Nosso melhor resultado foi em Odontologia, com Rank score de 3,7. Portugal apresentou Rank score médio de 5,5 em 23 áreas analisadas.

Como é calculado o Rank score? Daremos um exemplo falando de Bioquímica. O 1^o lugar do mundo de 2017 no ranking de citações por publicação (CPP) entre países com ao menos 1.000 publicações foi Cingapura. O Brasil ficou em 38^o entre 44 países, ou seja, Rank Score = 1,36. Portugal, em 19^o lugar, apresentou Rank score de 5,68.

Brasil: [1 – (38/44)] x 10 = 1,36

Portugal: [1 – (19/44)] x 10 = 5,68

Se olhamos o desempenho da ciência do Brasil como um todo, em 2018, ficamos no 14^o lugar em quantidade de publicações. Foram mais de 80 mil publicações em revistas internacionais. Mas somos o 63^o colocado em impacto, quando medido em CPP, entre 73 países com ao menos 3 mil publicações. O impacto do Brasil, em CPP, tem 42% do patamar da Estônia (1^o colocado de 2018). Em 2005, o Brasil estava melhor: 29^o lugar de 48 países, com 49,5% do impacto do 1^o lugar (Suíça).

Se avaliarmos o impacto brasileiro em Rank score, passamos de 4,0 em 2005 (29^o lugar em 48 países) para 1,37 em 2018 (63^o lugar em 73 países). Estamos disputando posições com a Nigéria, 65^a colocada. Vejam abaixo os cinco primeiros colocados de 2018 no ranking CPP, e, em outra imagem os países que estão abaixo do Brasil.

Ranking de impacto (em citações por publicação) em 2018 dos 5 primeiros colocados

Ranking CPP dos últimos colocados entre 73 países com ao menos 3.000 publicações em 2018

Olhando a simulação na figura abaixo, percebemos que existe o real perigo de que em 2023 o Brasil chegue no último lugar do mundo em impacto acadêmico (Rank Score = zero). Se cairmos 3 posições no resultado que sairá em julho de 2020 (indo para o 66^o lugar), passaremos de 1,37 de Rank score para 0,96 – um valor abaixo de 1! Não há nada que passamos fazer com relação a esse resultado que sairá esse ano, pois refletirá as citações de artigos publicados em 2019 – e estes trabalhos foram produzidos de acordo com regras estabelecidas nos governos Dilma/Temer. Porém, é fundamental que o Governo Federal atual — em especial a Capes — tenha um planejamento estratégico para reverter a tendência de desastre. É comparável ao Titanic colidindo com o iceberg (atenção: os autores deste artigo têm um plano estratégico e gostariam de ser ouvidos).

Se nossa ciência está assim, isso mostra que há algo fundamentalmente errado na docência universitária, que produz muito, mas — em média — com baixo impacto. Lembramos que os números apresentados representam a média das áreas (ou do Brasil como um todo). Como já comentado no início desse texto, um valor médio significa que há pesquisadores produzindo com menor ou maior impacto que a média. As publicações de 2018 do Brasil receberam 40,5 mil citações – é um valor impressionante. Há muito trigo no meio do joio da Academia.

Reflexões de Fabiano Borges

Diante desta análise trazida pelo Prof. Marcelo Hermes, tenho uma excelente oportunidade para esclarecer os objetivos dos artigos que elaboramos desde o início de 2019, enfatizando o que me motivou a fazer essa pesquisa em conjunto. Em primeiro lugar, sou analista em Ciência e Tecnologia (C&T) há uma década. Acompanhei de perto discussões, palestras, planejamento estratégico e outros assuntos afeitos à gestão científica do país. No início, confesso que fui seduzido pela narrativa iniciada em 2009 de que o Brasil era a 13^a nação entre os maiores produtores mundiais de conhecimento científico. Entretanto, se o Brasil fosse tão destacado na ciência mundial, por qual razão a tecnologia e a inovação ainda são tão deficientes por aqui? Essa simples questão passa despercebida por muitos, embora isso me incomodasse desde o início. Em virtude da dissonância cognitiva que me consumia àquela altura, eu tendia a justificar essa divergência pelo processo de colonização, exploração, vulnerabilidade externa ou quaisquer ideias oriundas da chamada corrente externalista historiográfica (como dizem: “A culpa é do imperialismo!”). Sendo assim, eu buscava meios para mitigar minha dissonância cognitiva, convencendo-me da sedutora narrativa.

Nesse período, eu dividia meu tempo como analista em C&T e como músico, atuando em diversos países mediante parcerias com embaixadas, universidades e entidades análogas. Para dar conta de múltiplas tarefas, eu praticamente não dormia e solicitava férias para trabalhar, de modo que minha percepção sobre a realidade estava completamente comprometida. Para corroborar ainda mais com a narrativa em vigor, o Brasil foi capa da revista britânica The Economist em 2009. Em 2011, O Globo noticiou que o Brasil passava a ser a sexta economia do mundo, ultrapassando o Reino Unido. Diante desse cenário auspicioso, muitos estavam certos de que o Brasil deixava de ser o país do futuro para se tornar o país do presente, em plena crise mundial.

No entanto, quando a crise se instalou no Brasil, a realidade mostrou-se implacável. Mesmo com o aumento do PIB do Brasil nesse período de crise mundial, nossa renda média continuava baixa, uma vez que nossa produtividade sempre foi pequena. Nosso sonho esvaiu-se rapidamente. Aliás, estudos da FGV demonstram que o aumento do PIB nesse período de crise mundial esteve atrelado, em grande medida, ao chamado bônus demográfico. Com o fim do bônus demográfico e com a baixa produtividade, será muito difícil o Brasil voltar a crescer de forma sustentável nos próximos anos. Com os estudos cientométricos, percebi que a baixa renda per capita brasileira condizia não apenas com o nosso triste posicionamento do IDH (índice de desenvolvimento humano), mas também com o nosso baixo impacto científico internacional. Há mais de uma década, o Brasil está entre os 15 países que mais produzem artigos científicos no mundo, mas, na média, o impacto científico brasileiro ainda é baixo se comparado ao do resto do mundo.

O leitor poderia se perguntar se a minha mudança de perspectiva se deve por alguma mágoa com as instituições de CT&I (ciência, tecnologia e inovação). Digo com toda convicção que isso não faz sentido, pois vários diretores e coordenadores apoiavam minha atuação artística internacional, de maneira que sou grato a todos eles. Resolvi ficar no Brasil e abdicar de minhas atividades culturais após o nascimento do meu filho, de maneira que eu me pergunto hoje: nós — gestores da ciência e tecnologia ou docentes em geral — estamos no caminho certo para inserir o Brasil na cadeia global de valor? Será que estamos minimamente preparados para a transformação tecnológica que o mundo atravessa? Nossos números indicam que, infelizmente, a resposta para as duas perguntas é “não”.

O primeiro estudo que elaborei com o o professor Marcelo Hermes foi sobre a Estônia, um pequeno país báltico que se transformou em pouquíssimo tempo. Nesse artigo publicado na Gazeta do Povo em março de 2019 (Link 5), explicamos que a ex-república soviética saiu da pobreza e começou a apresentar impacto científico relevante nos últimos 15 anos, destacando-se também no exame PISA. O estudo sobre a Arábia Saudita e o Qatar completou essa trilogia (Links 6) por meio da qual mostramos que esses países estão bem inseridos na cadeia global de valor, ao mesmo tempo em que apresentam um impacto científico internacional considerável. Em debates, demonstramos exaustivamente que nós não estamos propondo cópia de modelos, mas sim estudando casos de sucesso na internacionalização da ciência e tecnologia.

A CT&I (ciência, tecnologia e inovação) é fundamental para o avanço das nações, mas sua análise não é nada trivial. Durante quase duas décadas, as políticas científicas brasileiras voltaram-se tanto para a expansão do sistema universitário quanto para a publicação de artigos científicos em profusão, numa tentativa de acompanhar a produção quantitativa mundial. Em virtude da complexidade da CT&I, era praticamente impossível apresentar argumentos que se opusessem à narrativa fortemente estabelecida. Sendo assim, as gestões anteriores optaram por investir de forma maciça no ensino superior em vez de destinar os recursos públicos para o ensino básico, de modo que hoje é possível fazer um balanço de forma mais clara e objetiva. Na realidade, o ufanismo da 13^a maior nação produtora de artigos científicos do mundo ainda é a narrativa do mainstream (chegamos ao 13^o lugar em 2009, mas estamos em 14^o atualmente).

Para o leitor ter uma dimensão dessa narrativa, trago aqui um exemplo pessoal. Em um processo seletivo de doutorado, fiquei em primeiro lugar na prova escrita em minha linha de pesquisa, mas fui jogado para o último lugar na entrevista. Durante a curta entrevista (sem qualquer pergunta técnica), disse que eu tinha evidências acerca da divergência entre a produção científica brasileira e os setores de inovação e tecnologia. Confesso que eu me senti numa entrevista de emprego com carta marcada na qual o entrevistador diz no final: “depois a gente liga para você”. Voltemos à situação das nossas instituições voltadas ao desenvolvimento da nossa ciência.

Com o aumento real de 211% do orçamento do MEC entre 2003 a 2017, as universidades federais tiveram acesso muito maior a recursos públicos, enquanto as parcerias com a indústria e o setor privado apresentaram uma discreta melhora em algumas instituições. A CAPES — fundação pública vinculada ao MEC — teve um aumento real de 332%, embora menos de 2% de seus recursos sejam destinados ao pagamento de servidores. De fato, a maior parte dos recursos é destinada a outras instituições (sobretudo universidades públicas) por intermédio de inúmeros projetos e programas, como o Programa de Excelência Acadêmica (PROEX), Programa de Apoio a Eventos no Brasil (PAEP), Comitê Francês de Avaliação da Cooperação Universitária com o Brasil (COFECUB), PROBRAL (programa do Brasil e da Alemanha), etc. Desse modo, o processo descontrolado de expansão universitária no Brasil gerou um sistema endógeno de fazer ciência, estimulando uma produção doméstica extremamente cara e ineficiente. Os acordos internacionais na CAPES amenizam o problema da ineficiência da produção científica, cuja causa será discutida em outro artigo.

O Ministério da Ciência e Tecnologia, Inovações e Comunicações (MCTIC) esteve longe de acompanhar o aumento orçamentário do MEC. Vinculado ao MCTIC, o CNPq tampouco acompanhou o aumento orçamentário da CAPES durante esse período. Sendo assim, o MEC e a CAPES são as duas principais instituições que moldam o sistema de incentivos da ciência brasileira. Não seria o momento de repensar seriamente as nossas políticas científicas? E qual o papel da excessiva burocracia na baixa eficiência da pesquisa científica nacional?

Sempre enfatizo que — a partir do novo paradigma tecnológico baseado na distribuição de informações de forma ampla e de baixo custo — é ilusão achar que seja possível ocultar informações (Link 7). Os serviços públicos e privados serão fiscalizados a cada instante pela sociedade. Não há outra maneira senão colocarmos o Brasil na cadeia global de valor, fazendo convergir de forma inequívoca a ciência, a tecnologia e a inovação. É desejo dos autores deste artigo que o “Titanic Brasil” não bata no iceberg e afunde por chegar em poucos anos à última colocação do mundo em impacto científico!

PS: Agradecemos a revisão deste artigo pela Profa. Jane Adriana de Castro (UnB) e por um professor da UFRJ, que não se sentiu confortável em revelar seu nome, com medo de retaliações por parte dos colegas (o lulopetismo não perdoa).

Links 1:

https://olivre.com.br/o-ocaso-da-pesquisa-em-historia-no-brasil

https://olivre.com.br/o-limitado-impacto-da-producao-cientifica-brasileira-em-saude-publica

https://olivre.com.br/de-volta-aos-numeros-do-impacto-internacional-da-pesquisa-em-educacao-do-brasil

https://olivre.com.br/o-baixo-impacto-das-publicacoes-brasileiras-de-sociologia

https://www.gazetadopovo.com.br/educacao/brasil-e-pouco-citado-na-area-do-direito-revistas-e-cursos-serao-rebaixados/

https://www.gazetadopovo.com.br/educacao/ciencia-politica-do-brasil-tem-impacto-global-pequeno-o-que-dizem-os-pesquisadores/

Links 2:

https://olivre.com.br/o-impacto-na-ciencia-de-brasil-e-portugal-a-lingua-nao-nos-serve-de-desculpa

https://olivre.com.br/brasil-x-portugal-quem-tem-mais-impacto-em-ciencias-da-vida-e-saude

https://olivre.com.br/impacto-do-brasil-em-24-areas-em-comparacao-com-portugal

Link 3: https://olivre.com.br/astronomia-o-brasil-pode-enxergar-e-chegar-ainda-mais-longe