Novedades sobre la Covid

Al principio de la pandemia de covid-19, los investigadores inundaron las revistas con estudios sobre el entonces desconocido coronavirus [1]. Muchas publicaciones agilizaban el proceso de revisión por pares de los artículos sobre la covid-19, a la vez que mantenían índices de aceptación relativamente altos. Se partía del supuesto de que los responsables políticos y la población serían capaces de identificar las investigaciones válidas y útiles, entre un volumen muy grande de información difundida de manera apresurada.

Sin embargo, al revisar 74 artículos sobre covid-19 publicados en 2020 en las 15 principales revistas generales de salud pública que aparecen en Google Scholar, descubrí que muchos de estos estudios utilizaron métodos de baja calidad [2]. Muchas otras revisiones de estudios publicados en revistas médicas [3-5] también han demostrado que gran parte de las primeras investigaciones sobre covid-19 utilizaron métodos de investigación deficientes.

Algunos de estos artículos se han citado muchas veces. Por ejemplo, la publicación de salud pública más citada que aparece en Google Scholar utilizó datos de una muestra de 1.120 personas [6], principalmente mujeres jóvenes con un buen nivel educativo, reclutadas en su mayoría a través de las redes sociales, en un plazo de tres días. Las conclusiones basadas en una pequeña muestra de conveniencia autoseleccionada no pueden ser extrapoladas a una población más amplia. Y como los investigadores realizaron más de 500 análisis de los datos, muchos de los resultados estadísticamente significativos son probablemente casualidades. Sin embargo, este estudio se ha citado más de 11.000 veces [7].

Cuando un artículo ha recibido muchas citas significa que mucha gente lo ha mencionado en su propio trabajo. Pero un número elevado de citas no está estrechamente relacionado con la calidad de la investigación [8], ya que los investigadores y las revistas pueden manipular estas cifras. Un número elevado de citas de investigaciones de baja calidad aumenta la probabilidad de que se utilice evidencia deficiente para fundamentar las políticas, debilitando aún más la confianza de la población en la ciencia.

La metodología importa
Soy un investigador en salud pública [9] interesado desde hace mucho tiempo en la calidad y la integridad de la investigación. Este interés radica en la creencia de que la ciencia ha ayudado a resolver importantes problemas sociales y de salud pública. A diferencia del movimiento anticientífico que difunde información errónea sobre medidas de salud pública tan exitosas como las vacunas [10], creo que la crítica racional es fundamental para la ciencia.

La calidad y la integridad de la investigación dependen en gran medida de sus métodos. Cada tipo de diseño de estudio debe tener ciertas características para que proporcione información válida y útil.

Por ejemplo, los investigadores saben desde hace décadas que [11], en los estudios que evalúan la eficacia de una intervención, se necesita un grupo control [12] para saber si cualquier efecto observado se puede atribuir a la intervención.

Las revisiones sistemáticas [13] que recopilan datos de estudios existentes deberían describir cómo los investigadores determinaron qué estudios incluir, así como la manera en que evaluaron su calidad, extrajeron los datos y registraron previamente sus protocolos. Estas características son necesarias para garantizar que la revisión abarque toda la evidencia disponible e indique al lector cuál merece su atención y cuál no.

Ciertos tipos de estudios, como las encuestas que solo se aplican una vez a muestras de conveniencia que no son representativas de la población objetivo, recogen y analizan los datos de un modo que no permite que los investigadores determinen si una variable causó un resultado concreto [14].

Todos los diseños de estudio tienen estándares que los investigadores pueden consultar [15]. Pero adherirse a esos estándares enlentece la investigación. Tener un grupo control duplica la cantidad de datos que hay que recopilar, e identificar y analizar a fondo todos los estudios sobre un tema lleva más tiempo que revisar algunos de forma superficial. Las muestras representativas son más difíciles de generar que las muestras de conveniencia, y recopilar datos en dos puntos temporales es más trabajo que recopilarlos todos al mismo tiempo.

Los estudios que comparan los artículos sobre covid-19 con los artículos que no son sobre covid-19 [16-18], que se publican en las mismas revistas, revelan que los artículos sobre esta enfermedad tendían a utilizar métodos de menor calidad y era menos probable que se adhirieran a los estándares de notificación que los artículos que no eran sobre covid-19. Los artículos sobre covid-19 rara vez tenían hipótesis y planes predeterminados sobre cómo comunicarían los resultados o analizarían los datos. Esto significaba que no había salvaguardias contra el dragado de los datos [19] para encontrar resultados “estadísticamente significativos” que se pudieran comunicar de forma selectiva.

Es probable que estos problemas metodológicos se pasaran por alto en el proceso de revisión por pares, considerablemente acortado, de los artículos sobre covid-19 [20-21]. Un estudio estimó que el tiempo promedio desde la presentación hasta la aceptación de 686 artículos sobre covid-19 fue de 13 días, en comparación con los 110 días de 539 artículos prepandémicos publicados en las mismas revistas [22]. En mi estudio, descubrí que dos revistas en línea que publicaron un volumen muy elevado de artículos sobre covid-19 metodológicamente débiles tuvieron un proceso de revisión por pares de unas tres semanas [23].

La cultura de publicar o perecer
Estos problemas de control de calidad ya existían antes de la pandemia de covid-19. La pandemia simplemente los exacerbó.

Las revistas tienden a favorecer los hallazgos positivos y “novedosos” [24]: es decir, los resultados que muestran una asociación estadística entre variables y que supuestamente identifican algo que no se conocía anteriormente. Dado que la pandemia era novedosa en muchos sentidos, dio la oportunidad a algunos investigadores de hacer afirmaciones aventuradas sobre cómo se propagaría la covid-19, cuáles serían sus efectos sobre la salud mental, cómo se podría prevenir y cómo se podría tratar.

Durante décadas, el sistema de incentivos para los académicos se ha basado en “publicar o perecer” [25, 26], es decir, el número de artículos que publican forma parte de las cifras utilizadas para evaluar el trabajo, la promoción y la titularidad del puesto académico. La avalancha de información sobre la covid-19, de calidad variada [27], les ofreció la oportunidad de aumentar su número de publicaciones e impulsar las cifras de citas, ya que las revistas buscaban y revisaban rápidamente los artículos sobre esta enfermedad —los cuales tenían más probabilidades de ser citados— que los que no lo eran.

Las publicaciones en línea también han contribuido al deterioro de la calidad de la investigación. Las publicaciones académicas tradicionales limitaban la cantidad de artículos que podían generar, pues las revistas consistían en un documento físico impreso que normalmente solo se producía una vez al mes. En cambio, algunas de las grandes revistas en línea actuales publican miles de artículos al mes [28,29]. Los estudios de baja calidad que las revistas de prestigio rechazan pueden encontrar otras que los publicarán a cambio de cierta cantidad de dinero.

Crítica constructiva
Criticar la calidad de las investigaciones publicadas es arriesgado. Se puede malinterpretar como una forma de echar leña al fuego de la anticiencia. Mi respuesta es que un enfoque crítico y racional de la producción de conocimiento es, de hecho, fundamental para la propia práctica científica y para el funcionamiento de una sociedad abierta capaz de resolver problemas complejos como una pandemia mundial [30].

Publicar un gran volumen de información errónea disfrazada de ciencia durante una pandemia oscurece el conocimiento verdadero y útil [31]. En el peor de los casos, puede llevar a desarrollar prácticas y políticas de salud pública inadecuadas.

La ciencia, cuando se utiliza correctamente, produce información que permite a investigadores y responsables políticos comprender mejor el mundo y poner a prueba ideas sobre cómo mejorarlo. Esto implica analizar de forma crítica la calidad de los diseños [32], los métodos estadísticos, la reproducibilidad y la transparencia de un estudio, y no el número de veces que ha sido citado o tuiteado [33].

La ciencia depende de utilizar una estrategia lenta, reflexiva y meticulosa a recabar datos, analizarlos y presentar los resultados [34], sobre todo si pretende proporcionar información para promulgar políticas de salud pública eficaces. Del mismo modo, es improbable que los artículos que aparecen impresos solo tres semanas después de haber sido enviados por primera vez para su revisión se hayan sometido a una revisión por pares reflexiva y meticulosa. Las disciplinas que valoran más la cantidad de investigaciones, que su calidad, también tienen menos probabilidades de proteger la integridad científica durante las crisis.

La salud pública recurre en gran medida a disciplinas que atraviesan crisis de replicación [35-37], como la psicología, las ciencias biomédicas y la biología. Es similar a estas disciplinas en cuanto a su estructura de incentivos [38], diseños de estudios y métodos analíticos, y su falta de énfasis en la transparencia de los métodos y la replicación. Gran parte de la investigación en salud pública sobre la covid-19 muestra que adolece de métodos de baja calidad similares.

Volver a analizar la forma en que la disciplina retribuye a sus especialistas y evalúa su labor puede ayudarla a prepararse mejor para la próxima crisis de salud pública.