Novidades sobre a Covid

No início da pandemia de COVID-19, os pesquisadores inundaram os periódicos com estudos sobre o então novo coronavírus. Muitas publicações simplificaram o processo de revisão por pares para os artigos sobre a COVID-19, mantendo as taxas de aceitação relativamente altas. O suposto era que quem fazia as políticas e o público seriam capazes de identificar pesquisas válidas e úteis entre um volume muito grande de informações rapidamente disseminadas.

Porém, na minha revisão de 74 artigos sobre a COVID-19 publicados em 2020 nos 15 principais periódicos generalistas de saúde pública listados no Google Scholar, verifiquei que muitos destes estudos utilizaram métodos de qualidade ruim. Várias outras revisões de estudos publicados em periódicos médicos também mostraram que boa parte da pesquisa inicial sobre a COVID-19 utilizou métodos de pesquisa de baixa qualidade.

Alguns destes artigos foram citados muitas vezes. Por exemplo, a publicação de saúde pública mais citada listada no Google Scholar utilizou dados de uma amostra de 1,120 pessoas, principalmente jovens mulheres com um bom nível de educação, recrutadas majoritariamente nas redes sociais durante três dias. Descobertas baseadas numa amostra de conveniência pequena e auto-selecionada não podem ser generalizadas a uma população maior. Uma vez que os pesquisadores efetuaram mais de 500 análises dos dados, muitos dos resultados estatisticamente significativos são, provavelmente, por acaso. Porém, este estudo foi citado mais de 11.000 vezes.

Um artigo muito citado significa que muitas pessoas o mencionaram em seus próprios trabalhos. Mas um número grande de citações não está diretamente relacionado com a qualidade da pesquisa, já que os pesquisadores e os periódicos podem manipular essas métricas. Um número grande de citações de pesquisas de qualidade ruim aumenta a possibilidade de estarem sendo utilizadas evidências inadequadas para informar as políticas, o que piora ainda mais a confiança do público na ciência.

A Metodologia importa

Sou um pesquisador na área de saúde pública com um interesse de longa data na qualidade e integridade das pesquisas. Este interesse reside na minha crença de que a ciência tem ajudado a resolver importantes problemas sociais e de saúde pública. Diferentemente do movimento anti-ciência que espalha desinformação sobre medidas de saúde pública bem-sucedidas como as vacinas, acredito que a crítica racional é fundamental para a ciência.

A qualidade e a integridade da pesquisa dependem consideravelmente de seus métodos. Cada tipo de estudo desenhado deve possuir determinadas características para fornecer informações válidas e úteis.

Por exemplo, os pesquisadores sabem há décadas que, para estudos que avaliam a eficácia de uma intervenção, um grupo de controle é necessário para saber se os efeitos observados podem ser atribuídos à intervenção.

As revisões sistemáticas que agrupam dados de estudos existentes devem descrever a forma como os pesquisadores identificaram quais estudos iam incluir, como avaliaram a sua qualidade, como extraíram os dados e como pré-registaram os seus protocolos. Estas características são necessárias para assegurar que a revisão abrangerá todas as evidências disponíveis e indicar ao leitor quais dos estudos merecem atenção e quais não.

Certos tipos de estudos, tais como formulários únicos de amostras de conveniência que não são representativas da população alvo, recolhem e analisam os dados de uma forma que não permite aos pesquisadores determinarem se uma variável causou um determinado resultado.

Todos os desenhos de estudo têm normas que os pesquisadores podem consultar. Mas o cumprimento de normas torna a pesquisa mais lenta. Ter um grupo de controle duplica a quantidade de dados que precisam ser coletados, e identificar e revisar minuciosamente todos os estudos sobre um determinado tópico demora mais tempo do que analisar superficialmente alguns. As amostras representativas são mais difíceis de gerar do que as amostras por conveniência, coletar dados em dois momentos é mais trabalhoso do que coletar todos ao mesmo tempo.

Estudos comparando artigos sobre a COVID-19 com artigos não relacionados com a COVID-19 publicados nos mesmos periódicos concluíram que os artigos sobre a COVID-19 tendiam a ter métodos de qualidade inferior e eram menos prováveis de aderir às normas de relatório do que os artigos não relacionados com a COVID-19. Os artigos sobre a COVID-19 raramente tinham hipóteses e planos pré-determinados sobre a forma como iriam comunicar os seus resultados ou analisar os dados. Isto significava que não havia garantias contra a manipulação dos dados para encontrar resultados “estatisticamente significativos” que pudessem ser reportados seletivamente.

Estes problemas metodológicos foram provavelmente negligenciados no processo de revisão por pares consideravelmente encurtado dos artigos sobre a COVID-19. Um estudo estimou que o tempo médio entre o envio e a aprovação de 686 artigos sobre a COVID-19 foi de 13 dias, em comparação com 110 dias em 539 artigos pré-pandêmicos dos mesmos periódicos. Em meu estudo, descobri que dois periódicos online que publicaram um volume muito elevado de artigos fracos metodologicamente sobre a COVID-19 tiveram um processo de revisão por pares de cerca de três semanas.

Cultura do publicar ou perecer

Estes problemas de controle de qualidade já estavam presentes antes da pandemia de COVID-19. A pandemia simplesmente os levou ao extremo.

Os periódicos tendem a favorecer resultados positivos e “novos”, ou seja, resultados que mostram uma conexão estatística entre variáveis que supostamente identificam algo anteriormente desconhecido. Como a pandemia foi, em muitos aspectos, uma novidade, proporcionou a alguns pesquisadores a oportunidade de fazer afirmações ousadas sobre como a COVID-19 se espalharia, quais seriam os seus efeitos na saúde mental, como poderia ser prevenida e como poderia ser tratada.

Muitos pesquisadores sentem-se pressionados a publicar artigos para que avancem em suas carreiras. Os acadêmicos trabalham num sistema de incentivos de “publicar ou perecer” há décadas em que o número de artigos que publicam faz parte das métricas utilizadas para avaliar o emprego, a promoção e a permanência. A inundação de informações de qualidade mista sobre a COVID-19 deu a oportunidade de aumentar a quantidade de publicações e impulsionar as métricas de citação, uma vez que os periódicos buscavam e revisavam rapidamente os artigos sobre a COVID-19, que tinham mais chances de serem citados do que os artigos não relacionados à COVID.

As publicações online também contribuíram para a deterioração da qualidade das pesquisas. A publicação acadêmica tradicional era limitada na quantidade de artigos que podia gerar, porque os periódicos eram embalados e impressos num documento físico, normalmente produzido apenas uma vez por mês. Em contrapartida, alguns dos mega-periódicos publicam milhares de artigos por mês. Estudos de baixa qualidade rejeitados por periódicos conhecidos podem ainda encontrar um meio disposto a publicar mediante o pagamento de uma taxa.

Crítica Saudável

Criticar a qualidade das pesquisas publicadas é muito arriscado. Pode ser mal interpretado como uma forma de jogar gasolina na fogueira da anticiência. A minha resposta é que uma abordagem crítica e racional da produção de conhecimento é de fato, fundamental para a prática da ciência e também o funcionamento de uma sociedade aberta e capaz de resolver problemas complexos como uma pandemia mundial.

A publicação de um grande volume de desinformação disfarçada de ciência durante uma pandemia obscurece o conhecimento verdadeiro e útil. Na pior das hipóteses, isto pode levar a más práticas e políticas de saúde pública.

A ciência feita corretamente produz informação que permite aos pesquisadores e os decisores políticos compreenderem melhor o mundo e testarem ideias sobre como o melhorar. Isto envolve examinar criteriosamente a qualidade dos desenhos de um estudo, os métodos estatísticos, a reprodutibilidade e a transparência, e não o número de vezes que foi citado ou mencionado no twitter.

A ciência depende de uma abordagem lenta, cuidadosa e meticulosa da coleta, análise e apresentação de dados, especialmente se pretende fornecer informações para a adoção de políticas de saúde pública eficazes. Do mesmo modo, é improvável que se proceda a uma revisão cuidadosa e meticulosa por parte dos pares com artigos que aparecem impressos apenas três semanas depois de terem sido enviados para revisão. As disciplinas que recompensam a quantidade de pesquisa em detrimento da qualidade também têm menos probabilidade de proteger a integridade científica durante crises.

A ciência rigorosa requer cuidado e atenção, não pressa. A saúde pública se baseia em grande parte em disciplinas que estão passando por crises de replicação, como a psicologia, a ciência biomédica e a biologia. É semelhante a estas disciplinas em termos da sua estrutura de incentivos, dos desenhos dos estudos e dos métodos analíticos, também da sua desatenção a métodos transparentes e à replicação. Grande parte da pesquisa sobre a COVID-19 na saúde pública mostra que sofre de semelhantes métodos de qualidade ruim.

Reexaminar a forma como a disciplina recompensa os seus acadêmicos e avalia os seus estudos pode ajudar ela a se preparar melhor para a próxima crise de saúde pública.