Integridad de la Ciencia y de las Publicaciones

La pandemia ha hecho que se flexibilicen los estándares de algunas revistas importantes, porque alguna evidencia es mejor que ninguna, dicen los investigadores.

Desde que surgió el COVID-19, los investigadores han sido responsable de una “producción científica sin precedentes”. Solo en los primeros cuatro meses de 2020 se publicaron miles de artículos, pero su calidad general es menos impresionante, dice un investigador.

Giulio Stefanini, MD, PhD (Humanitas Clinical and Research Center IRCCS, Milán, Italia) y sus colegas han realizado un nuevo análisis que indica que la calidad de la evidencia publicada en el New England Journal of Medicine, The Lancet y JAMA ha sido inferior durante estos meses que, durante el mismo período en 2019, y que esta disminución es atribuible a COVID-19.

Stefanini presentó el análisis durante una sesión científica de última hora en el Congreso virtual de la Sociedad Europea de Cardiología 2020. Hablando con TCTMD [1], destacó que el análisis no pretende ser una crítica a estas revistas, ya que cuando el virus atacó todas fueron bombardeadas con artículos, sino más bien una llamada de atención para que los médicos estén atentos al interpretar las nuevas investigaciones. Durante una pandemia, hay mucho en juego y al tomar decisiones clínicas se debe tener en cuenta tanto la cantidad como la calidad de los estudios publicados.

“La evidencia que ha surgido se debe interpretar con cautela porque todos sabemos que los estudios publicados en las principales revistas médicas, particularmente durante una emergencia como COVID-19, en un par de días están influyendo en la práctica clínica”, dijo Stefanini.

De acuerdo a Stefanini, durante los primeros meses de la pandemia, hubo mucha confusión sobre el COVID-19, y varias revistas importantes publicaron estudios con evidencia contradictoria. Por ejemplo, hubo informes que cuestionaron si los pacientes con hipertensión tratados con antagonistas del sistema renina-angiotensina-aldosterona (SRAA) tenían un mayor riesgo de infección, mientras que otros estudios no encontraron evidencia de que fueran perjudiciales. Un estudio de alto perfil publicado en el New England Journal of Medicine sobre la seguridad de los bloqueantes del receptor de la angiotensina II y los inhibidores de la ECA fue retractado y muchos creen que se inventaron los datos. En las revistas principales también se publicaron otros estudios contradictorios con fármacos como la hidroxicloroquina y el remdesivir (Gilead).

Más estudios observacionales e informes de casos
En este contexto, los investigadores quisieron evaluar la calidad de la investigación original publicada entre enero y abril de 2020. Se centraron en las tres revistas médicas mejor clasificadas y evaluaron su calidad utilizando cuatro parámetros: diseño aleatorio, hipótesis primaria definida, medida principal de impacto definida y puntuación GRADE de la calidad de la evidencia. En general, el grupo analizó 3.370 artículos identificados a través de PubMed, incluyendo 1.805 que se publicaron durante los primeros cuatro meses de 2020 y 1.565 publicados durante el mismo período de 2019. De estos, 339 de los publicados en 2020 en estas revistas eran originales, al igual que 297 de los publicados en 2019.

En las publicaciones de 2020 había menos estudios con asignación al azar que en 2019 (29,2% frente a 41,4%; OR 0,58; IC del 95%: 0,41-0,82). El 25,6% de los artículos originales de investigación publicados en 2020 fueron estudios observacionales, en comparación con el 18,2% de los publicados en 2019 (OR 1,55; IC del 95%: 1,04-2,32). De igual manera, el 41,9% de los artículos publicados en 2020 que informaron investigaciones originales fueron informes de casos, mientras que la proporción en 2019 fue 32,6% (OR 1,48; IC del 95%: 1,06-2,08).

Además, en 2020 la frecuencia con que los artículos definieron la hipótesis del estudio y la medida principal de impacto fue inferior a la de 2019. La puntuación GRADE también mostró que en 2020 se publicaron estudios más débiles. Según GRADE, solo el 13,7% de los estudios publicados en 2020 se consideraron de “alta calidad”, en comparación con el 27,6% de los estudios publicados en 2019 (OR 0,41; 95% 0,27-0,63). En 2020 hubo un aumento compensatorio en la publicación de estudios de “muy baja calidad”.

En un análisis de sensibilidad que excluyó la investigación sobre COVID-19, los investigadores no observaron diferencias entre la calidad de la investigación original publicada en 2020 en comparación con la publicada el año anterior. Cuando restringieron su análisis solo a la investigación cardiovascular, tampoco observaron diferencias de calidad.

Volumen sin precedentes
Stefanini reiteró a TCTMD que no pretende criticar a las revistas por publicar investigaciones de COVID-19 de menor calidad, y señaló que durante la pandemia los editores recibían y tenían que revisar un volumen sin precedentes de artículos. Si bien algunas revistas pueden recibir 30 artículos nuevos por semana, el editor de una revista le dijo que habían recibido hasta 200 artículos nuevos en un solo día. La investigación publicada a principios de esta semana en Mayo Clinic Proceedings documentó que los tiempos de revisión han sido mucho más cortos durante la pandemia de COVID-19.

Stefanini dijo que, en su opinión, los editores de revistas intentaron ofrecer un servicio a sus lectores, aunque la calidad de los estudios fuera más baja de lo habitual, debido a la emergencia de salud pública causada por la nueva enfermedad.

“El problema es que esta es una enfermedad desconocida y había una necesidad urgente de tener alguna evidencia, porque alguna evidencia es mejor que ninguna evidencia”, dijo Stefanini. Si bien los datos publicados en esos meses iniciales son importantes, agregó, “un estudio debe evaluarse a la luz de sus limitaciones”.

En cuanto a sus propias limitaciones, Stefanini dijo que se centraron en solo tres revistas médicas y que los resultados podrían no ser aplicables a otras publicaciones científicas. El sistema GRADE para evaluar la calidad utiliza una “metodología articulada, integral y sistemática”, aunque tampoco está exento de sesgos. Finalmente, el grupo solo analizó datos publicados entre enero y abril, cuando el conocimiento sobre COVID-19 era limitado. No se sabe si la calidad de los estudios publicados ha mejorado y sería necesario estudiarlo, dijo.