Una organización internacional sin ánimo de lucro para fomentar el acceso y el uso adecuado de medicamentos entre la población hispano-parlante

Novedades sobre la Covid

Las primeras investigaciones sobre covid-19 están plagadas por el uso métodos deficientes y resultados de baja calidad: un problema para la ciencia que la pandemia empeoró, pero no creó

(Early COVID-19 research is riddled with poor methods and low-quality results − a problem for science the pandemic worsened but didn’t create)
Dennis M. Gorman
The Conversation, 23 de febrero de 2024
https://theconversation.com/early-covid-19-research-is-riddled-with-poor-methods-and-low-quality-results-a-problem-for-science-the-pandemic-worsened-but-didnt-create-220635
Traducido por Salud y Fármacos, publicado en Boletín Fármacos; Ensayos Clínicos 2024; 27 (2)

Tags: medicina basada en la evidencia, integridad de la ciencia, validez científica en salud, calidad de las revistas médicas, escrutinio de artículos científicos, investigar en medio de una pandemia, evaluar la eficacia de medicamentos, evaluar la seguridad de medicamentos, pandemia covid, respuesta a pandemia covid

Al principio de la pandemia de covid-19, los investigadores inundaron las revistas con estudios sobre el entonces desconocido coronavirus [1]. Muchas publicaciones agilizaban el proceso de revisión por pares de los artículos sobre la covid-19, a la vez que mantenían índices de aceptación relativamente altos. Se partía del supuesto de que los responsables políticos y la población serían capaces de identificar las investigaciones válidas y útiles, entre un volumen muy grande de información difundida de manera apresurada.

Sin embargo, al revisar 74 artículos sobre covid-19 publicados en 2020 en las 15 principales revistas generales de salud pública que aparecen en Google Scholar, descubrí que muchos de estos estudios utilizaron métodos de baja calidad [2]. Muchas otras revisiones de estudios publicados en revistas médicas [3-5] también han demostrado que gran parte de las primeras investigaciones sobre covid-19 utilizaron métodos de investigación deficientes.

Algunos de estos artículos se han citado muchas veces. Por ejemplo, la publicación de salud pública más citada que aparece en Google Scholar utilizó datos de una muestra de 1.120 personas [6], principalmente mujeres jóvenes con un buen nivel educativo, reclutadas en su mayoría a través de las redes sociales, en un plazo de tres días. Las conclusiones basadas en una pequeña muestra de conveniencia autoseleccionada no pueden ser extrapoladas a una población más amplia. Y como los investigadores realizaron más de 500 análisis de los datos, muchos de los resultados estadísticamente significativos son probablemente casualidades. Sin embargo, este estudio se ha citado más de 11.000 veces [7].

Cuando un artículo ha recibido muchas citas significa que mucha gente lo ha mencionado en su propio trabajo. Pero un número elevado de citas no está estrechamente relacionado con la calidad de la investigación [8], ya que los investigadores y las revistas pueden manipular estas cifras. Un número elevado de citas de investigaciones de baja calidad aumenta la probabilidad de que se utilice evidencia deficiente para fundamentar las políticas, debilitando aún más la confianza de la población en la ciencia.

La metodología importa
Soy un investigador en salud pública [9] interesado desde hace mucho tiempo en la calidad y la integridad de la investigación. Este interés radica en la creencia de que la ciencia ha ayudado a resolver importantes problemas sociales y de salud pública. A diferencia del movimiento anticientífico que difunde información errónea sobre medidas de salud pública tan exitosas como las vacunas [10], creo que la crítica racional es fundamental para la ciencia.

La calidad y la integridad de la investigación dependen en gran medida de sus métodos. Cada tipo de diseño de estudio debe tener ciertas características para que proporcione información válida y útil.

Por ejemplo, los investigadores saben desde hace décadas que [11], en los estudios que evalúan la eficacia de una intervención, se necesita un grupo control [12] para saber si cualquier efecto observado se puede atribuir a la intervención.

Las revisiones sistemáticas [13] que recopilan datos de estudios existentes deberían describir cómo los investigadores determinaron qué estudios incluir, así como la manera en que evaluaron su calidad, extrajeron los datos y registraron previamente sus protocolos. Estas características son necesarias para garantizar que la revisión abarque toda la evidencia disponible e indique al lector cuál merece su atención y cuál no.

Ciertos tipos de estudios, como las encuestas que solo se aplican una vez a muestras de conveniencia que no son representativas de la población objetivo, recogen y analizan los datos de un modo que no permite que los investigadores determinen si una variable causó un resultado concreto [14].

Todos los diseños de estudio tienen estándares que los investigadores pueden consultar [15]. Pero adherirse a esos estándares enlentece la investigación. Tener un grupo control duplica la cantidad de datos que hay que recopilar, e identificar y analizar a fondo todos los estudios sobre un tema lleva más tiempo que revisar algunos de forma superficial. Las muestras representativas son más difíciles de generar que las muestras de conveniencia, y recopilar datos en dos puntos temporales es más trabajo que recopilarlos todos al mismo tiempo.

Los estudios que comparan los artículos sobre covid-19 con los artículos que no son sobre covid-19 [16-18], que se publican en las mismas revistas, revelan que los artículos sobre esta enfermedad tendían a utilizar métodos de menor calidad y era menos probable que se adhirieran a los estándares de notificación que los artículos que no eran sobre covid-19. Los artículos sobre covid-19 rara vez tenían hipótesis y planes predeterminados sobre cómo comunicarían los resultados o analizarían los datos. Esto significaba que no había salvaguardias contra el dragado de los datos [19] para encontrar resultados “estadísticamente significativos” que se pudieran comunicar de forma selectiva.

Es probable que estos problemas metodológicos se pasaran por alto en el proceso de revisión por pares, considerablemente acortado, de los artículos sobre covid-19 [20-21]. Un estudio estimó que el tiempo promedio desde la presentación hasta la aceptación de 686 artículos sobre covid-19 fue de 13 días, en comparación con los 110 días de 539 artículos prepandémicos publicados en las mismas revistas [22]. En mi estudio, descubrí que dos revistas en línea que publicaron un volumen muy elevado de artículos sobre covid-19 metodológicamente débiles tuvieron un proceso de revisión por pares de unas tres semanas [23].

La cultura de publicar o perecer
Estos problemas de control de calidad ya existían antes de la pandemia de covid-19. La pandemia simplemente los exacerbó.

Las revistas tienden a favorecer los hallazgos positivos y “novedosos” [24]: es decir, los resultados que muestran una asociación estadística entre variables y que supuestamente identifican algo que no se conocía anteriormente. Dado que la pandemia era novedosa en muchos sentidos, dio la oportunidad a algunos investigadores de hacer afirmaciones aventuradas sobre cómo se propagaría la covid-19, cuáles serían sus efectos sobre la salud mental, cómo se podría prevenir y cómo se podría tratar.

Durante décadas, el sistema de incentivos para los académicos se ha basado en “publicar o perecer” [25, 26], es decir, el número de artículos que publican forma parte de las cifras utilizadas para evaluar el trabajo, la promoción y la titularidad del puesto académico. La avalancha de información sobre la covid-19, de calidad variada [27], les ofreció la oportunidad de aumentar su número de publicaciones e impulsar las cifras de citas, ya que las revistas buscaban y revisaban rápidamente los artículos sobre esta enfermedad —los cuales tenían más probabilidades de ser citados— que los que no lo eran.

Las publicaciones en línea también han contribuido al deterioro de la calidad de la investigación. Las publicaciones académicas tradicionales limitaban la cantidad de artículos que podían generar, pues las revistas consistían en un documento físico impreso que normalmente solo se producía una vez al mes. En cambio, algunas de las grandes revistas en línea actuales publican miles de artículos al mes [28,29]. Los estudios de baja calidad que las revistas de prestigio rechazan pueden encontrar otras que los publicarán a cambio de cierta cantidad de dinero.

Crítica constructiva
Criticar la calidad de las investigaciones publicadas es arriesgado. Se puede malinterpretar como una forma de echar leña al fuego de la anticiencia. Mi respuesta es que un enfoque crítico y racional de la producción de conocimiento es, de hecho, fundamental para la propia práctica científica y para el funcionamiento de una sociedad abierta capaz de resolver problemas complejos como una pandemia mundial [30].

Publicar un gran volumen de información errónea disfrazada de ciencia durante una pandemia oscurece el conocimiento verdadero y útil [31]. En el peor de los casos, puede llevar a desarrollar prácticas y políticas de salud pública inadecuadas.

La ciencia, cuando se utiliza correctamente, produce información que permite a investigadores y responsables políticos comprender mejor el mundo y poner a prueba ideas sobre cómo mejorarlo. Esto implica analizar de forma crítica la calidad de los diseños [32], los métodos estadísticos, la reproducibilidad y la transparencia de un estudio, y no el número de veces que ha sido citado o tuiteado [33].

La ciencia depende de utilizar una estrategia lenta, reflexiva y meticulosa a recabar datos, analizarlos y presentar los resultados [34], sobre todo si pretende proporcionar información para promulgar políticas de salud pública eficaces. Del mismo modo, es improbable que los artículos que aparecen impresos solo tres semanas después de haber sido enviados por primera vez para su revisión se hayan sometido a una revisión por pares reflexiva y meticulosa. Las disciplinas que valoran más la cantidad de investigaciones, que su calidad, también tienen menos probabilidades de proteger la integridad científica durante las crisis.

La salud pública recurre en gran medida a disciplinas que atraviesan crisis de replicación [35-37], como la psicología, las ciencias biomédicas y la biología. Es similar a estas disciplinas en cuanto a su estructura de incentivos [38], diseños de estudios y métodos analíticos, y su falta de énfasis en la transparencia de los métodos y la replicación. Gran parte de la investigación en salud pública sobre la covid-19 muestra que adolece de métodos de baja calidad similares.

Volver a analizar la forma en que la disciplina retribuye a sus especialistas y evalúa su labor puede ayudarla a prepararse mejor para la próxima crisis de salud pública.

Referencias

  1. Else, H. How a torrent of COVID science changed research publishing — in seven charts. Nature. 2020; 588(7839), 553. https://doi.org/10.1038/d41586-020-03564-y
  2. Gorman, D. M. COVID-19 publications in top-ranked public health journals during the first phase of the pandemic. Quantitative Science Studies. May 01, 2023. 4(2), 535–546. https://doi.org/10.1162/qss_a_00257
  3. Raynaud, M., Zhang, H., Louis, K., et al. COVID-19-related medical research: a meta-research and critical appraisal. BMC Medical Research Methodology. January 04, 2021. 21(1). https://doi.org/10.1186/s12874-020-01190-w
  4. Jung, R. G., Di Santo, P., Clifford, C., Prosperi-Porta, G., Skanes, S., Hung, A., Parlow, S., Visintini, S., Ramirez, F. D., Simard, T., & Hibbert, B. Methodological quality of COVID-19 clinical research. Nature Communications. February 11, 2021. 12(1). https://doi.org/10.1038/s41467-021-21220-5
  5. Zdravkovic, M., Berger-Estilita, J., Zdravkovic, B., & Berger, D. Scientific quality of COVID-19 and SARS CoV-2 publications in the highest impact medical journals during the early phase of the pandemic: A case control study. PloS One. November 5, 2020; 15(11), e0241826. https://doi.org/10.1371/journal.pone.0241826
  6. Wang, C., Pan, R., Wan, X., et al. Immediate Psychological Responses and Associated Factors during the Initial Stage of the 2019 Coronavirus Disease (COVID-19) Epidemic among the General Population in China. International Journal of Environmental Research and Public Health. March 06, 2020; 17(5), 1729. https://doi.org/10.3390/ijerph17051729
  7. International Journal of Environmental Research and Public Health – Google Scholar Metrics. (n.d.). https://scholar.google.com/citations?hl=en&vq=med_publichealth&view_op=list_hcore&venue=kEa56xlDDN8J.2023
  8. Edwards, M. A., & Roy, S. Academic research in the 21st century: Maintaining scientific integrity in a climate of perverse incentives and hypercompetition. Environmental Engineering Science. January 01, 2017; 34(1), 51–61. https://doi.org/10.1089/ees.2016.0223
  9. Dennis M. Gorman. (n.d.). https://scholar.google.com/citations?user=X1o1PaQAAAAJ&hl=en
  10. Apetrei, C. Misinformation is a common thread between the COVID-19 and HIV/AIDS pandemics – with deadly consequences. The Conversation. August 24, 2022. https://theconversation.com/misinformation-is-a-common-thread-between-the-covid-19-and-hiv-aids-pandemics-with-deadly-consequences-187968
  11. Campbell, D. T., & Stanley, J. C. Experimental and Quasi-Experiment Al Designs for Research. Simon Fraser University. (n.d.). https://www.sfu.ca/~palys/Campbell&Stanley-1959-Exptl&QuasiExptlDesignsForResearch.pdf
  12. Godby, M. E. Control group | Definition, Examples, & Facts. Encyclopedia Britannica. August 1, 2016. https://www.britannica.com/science/control-group
  13. Kolaski, K., Logan, L. R., & Ioannidis, J. P. A. Principles for good scholarship in systematic reviews. Developmental Medicine & Child Neurology. August 01, 2023. 66(4), 415–421. https://doi.org/10.1111/dmcn.15719
  14. Hammerton, G., & Munafò, M. R. Causal inference with observational data: the need for triangulation of evidence. Psychological Medicine. March 08, 2021. 51(4), 563–578. https://doi.org/10.1017/s0033291720005127
  15. EQUATOR Network | Enhancing the QUAlity and transparency of health research. (n.d.). https://www.equator-network.org/
  16. Jung, R. G., Di Santo, P., Clifford, C., et al. Methodological quality of COVID-19 clinical research. Nature Communications. February 11, 2021b; 12(1). https://doi.org/10.1038/s41467-021-21220-5
  17. Quinn, T. J., Burton, J. K., Carter, B., et al. Following the science? Comparison of methodological and reporting quality of covid-19 and other research from the first wave of the pandemic. BMC Medicine. February 23, 2021. 19(1). https://doi.org/10.1186/s12916-021-01920-x
  18. Zdravkovic, M., Berger-Estilita, J., Zdravkovic, B., & Berger, D. Scientific quality of COVID-19 and SARS CoV-2 publications in the highest impact medical journals during the early phase of the pandemic: A case control study. PloS One. November 05, 2020. 15(11), e0241826. https://doi.org/10.1371/journal.pone.0241826
  19. Erasmus, A., Holman, B., & Ioannidis, J. P. A. Data-dredging bias. BMJ Evidence-based Medicine. 2021; 27(4), 209–211. https://doi.org/10.1136/bmjebm-2020-111584
  20. Palayew, A., Norgaard, O., Safreed-Harmon, K., Andersen, T. H., et al. Pandemic publishing poses a new COVID-19 challenge. Nature Human Behaviour. June 23, 2020; 4(7), 666–669. https://doi.org/10.1038/s41562-020-0911-0
  21. Horbach, S. P. J. M. Pandemic publishing: Medical journals strongly speed up their publication process for COVID-19. Quantitative Science Studies. August 01, 2020; 1(3), 1056–1067. https://doi.org/10.1162/qss_a_00076
  22. Jung, R. G., Di Santo, P., Clifford, C., Prosperi-Porta, G., Skanes, S., Hung, A., Parlow, S., Visintini, S., Ramirez, F. D., Simard, T., & Hibbert, B. Methodological quality of COVID-19 clinical research. Nature Communications. February 11, 2021c; 12(1). https://doi.org/10.1038/s41467-021-21220-5
  23. Gorman, D. M. COVID-19 publications in top-ranked public health journals during the first phase of the pandemic. Quantitative Science Studies. May 01, 2023b; 4(2), 535–546. https://doi.org/10.1162/qss_a_00257
  24. Fanelli, D. “Positive” results increase down the hierarchy of the sciences. PloS One. April 07, 2010. 5(4), e10068. https://doi.org/10.1371/journal.pone.0010068
  25. Edwards, M. A., & Roy, S. Academic research in the 21st century: Maintaining scientific integrity in a climate of perverse incentives and hypercompetition. Environmental Engineering Science. January 01, 2017b; 34(1), 51–61. https://doi.org/10.1089/ees.2016.0223
  26. Nosek, B. A., Spies, J. R., & Motyl, M. Scientific utopia. Perspectives on Psychological Science. November 07, 2021. 7(6), 615–631. https://doi.org/10.1177/1745691612459058
  27. Apetrei, C. Misinformation is a common thread between the COVID-19 and HIV/AIDS pandemics – with deadly consequences. The Conversation. August 24, 2022b. https://theconversation.com/misinformation-is-a-common-thread-between-the-covid-19-and-hiv-aids-pandemics-with-deadly-consequences-187968
  28. Gorman, D. M. The rise of a mega‐journal in public health publishing. Learned Publishing. August 10, 2023; 36(4), 712–719. https://doi.org/10.1002/leap.156
  29. Ioannidis, J. P. A., Pezzullo, A. M., & Boccia, S. The rapid growth of Mega-Journals. JAMA. March 20, 2023; 329(15), 1253. https://doi.org/10.1001/jama.2023.3212
  30. Ormerod, R. J. The history and ideas of critical rationalism: the philosophy of Karl Popper and its implications for OR. Journal of the Operational Research Society. December 21, 2017; 60(4), 441–460. https://doi.org/10.1057/palgrave.jors.2602573
  31. West, J. D., & Bergstrom, C. T. (2021). Misinformation in and about science. Proceedings of the National Academy of Sciences of the United States of America. April 9, 2021; 118(15). https://doi.org/10.1073/pnas.1912444117
  32. Ioannidis, J. P. A. How to make more published research true. PLoS Medicine. October 21, 2014; 11(10), e1001747. https://doi.org/10.1371/journal.pmed.1001747
  33. Van Calster, B., Wynants, L., & Riley, R. D. Methodology over metrics: current scientific standards are a disservice to patients and society. Journal of Clinical Epidemology. May 30, 2021. https://www.jclinepi.com/article/S0895-4356(21)00170-0/fulltext
  34. Chiolero, A., Tancredi, S., & Ioannidis, J. P. A. Slow data public health. European Journal of Epidemiology. October 03, 2023; 38(12), 1219–1225. https://doi.org/10.1007/s10654-023-01049-6
  35. Nuzzo, R. How scientists fool themselves – and how they can stop. Nature. October 07, 2015; 526(7572), 182–185. https://doi.org/10.1038/526182a
  36. An open, Large-Scale, collaborative effort to estimate the reproducibility of psychological science. Perspectives on Psychological Science. November 07, 2012; 7(6), 657–660. https://doi.org/10.1177/1745691612462588
  37. Ioannidis, J. P. A. Why most published research findings are false. PLoS Medicine. August 30, 2005; 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
  38. Hardwicke, T. E., Serghiou, S., Janiaud, P., Danchev, V., Crüwell, S., Goodman, S. N., & Ioannidis, J. P. Calibrating the scientific ecosystem through Meta-Research. Annual Review of Statistics and Its Application. November 01, 2019; 7(1), 11–37. https://doi.org/10.1146/annurev-statistics-031219-041104
creado el 19 de Julio de 2024