Integridad de la Ciencia y de las Publicaciones

El Lancet y en NEJM son dos de las revistas médicas más respetadas y leídas del mundo, pero sorprendentemente, hace un par de meses ambas retractaron dos artículos, a petición de sus autores. Las dos retracciones se produjeron días después de su publicación y han generado una gran discusión en el mundo académico. ¿Cómo puede ser que autores de prestigio, que trabajan en universidades de gran renombre, dejen de creer en el contenido de dos artículos que acaban de publicar? ¿Cómo puede ser que los editores de estas prestigiosas revistas y los revisores de los artículos no identificaran los problemas que detectaron los lectores? A continuación, resumimos la traducción de cuatro artículos que tratan de responder a estas preguntas.

Los hechos
El 5 de junio, Retraction Watch, ofreció un buen resumen con de lo sucedido y fue cómo sigue [1].

The Lancet y el New England Journal of Medicine retractaron dos artículos sobre Covid-19 dos días después de emitir expresiones de preocupación [2] porque varios de los autores no habían tenido acceso a los datos subyacentes, y no pudieron replicar el análisis.

El artículo de Lancet, “Hidroxicloroquina o cloroquina con o sin un macrólido para el tratamiento de COVID-19: un análisis de registro multinacional (Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry análisis)”, se basó en datos de una empresa privada llamada Surgisphere y concluyó que en algunos pacientes con COVID-19 la hidroxicloroquina se asociaba con mayor riesgo de muerte. Este artículo se publicó a finales de mayo e inmediatamente surgieron múltiples preguntas y críticas. Algunas de las quejas sirvieron para corregir algunos datos, pero los autores mantuvieron sus conclusiones, a saber, que la hidrocloroquina y la cloroquina no parecen ser efectivas contra la infección viral.

Después de que se corrigieran algunos datos, The Lancet emitió una expresión de preocupación [3], y posteriormente tres de los cuatro autores del artículo decidieron retirarlo por completo. El autor que se abstuvo de retirarlo fue Sapan Desai, que es el fundador de Surgisphere, una empresa que tiene como misión:

Avanzar implacablemente en el aprendizaje automático, la inteligencia artificial y las grandes bases de datos (big data), con la intención de desarrollar herramientas líderes en la industria que ayuden a los proveedores de atención médica a tomar mejores decisiones, más rápidas y precisas.

Desai, como informa Medscape, en 2011 y 2013 escribió dos artículos sobre la mala conducta en la investigación [4].

The Lancet emitió un comunicado [5] sobre la decisión, señalando que la retractación no fue unánime:

Hoy, tres de los autores del artículo, “Hidroxicloroquina o cloroquina con o sin macrólido para el tratamiento de COVID-19: un análisis de registro multinacional”, han retractado su artículo. No pudieron hacer una auditoría independiente de los datos que sustentan su análisis. Consecuentemente, han llegado a la conclusión de que “ya no pueden confiar en la veracidad de las fuentes primarias de datos”. The Lancet se toma muy en serio la integridad científica y, en el caso de Surgisphere y los datos que supuestamente se incluyeron en este estudio, persisten muchas preguntas para las que no hemos recibido respuestas satisfactorias. Según las directrices del Comité de Ética de Publicaciones (COPE) y el Comité Internacional de Editores de Revistas Médicas (ICMJE), es urgente que las instituciones revisen sus colaboraciones de investigación con Surgisphere.

El aviso sobre la retractación añade un poco más de detalle:

Después de la publicación de nuestro artículo en The Lancet, surgieron preocupaciones sobre la veracidad de los datos y los análisis realizados por Surgisphere Corporation y su fundador y coautor, Sapan Desai, que incluimos en nuestra publicación. Con el consentimiento de Sapan Desai, solicitamos que un tercero hiciera una revisión independiente de Surgisphere, para evaluar el origen de los elementos de la base de datos, confirmar su integridad y replicar los análisis incluidos en el artículo.

Nuestros revisores independientes nos informaron de que Surgisphere no transferiría la base completa de datos, los contratos del cliente y el informe completo de auditoría ISO a sus servidores para que pudieran hacer el análisis, ya que dicha transferencia violaría los acuerdos con sus clientes y la confidencialidad. Por lo tanto, nuestros revisores no pudieron hacer una revisión por pares independiente y privada, y decidieron retirarse del proceso de revisión.

Aspiramos a realizar nuestra investigación de acuerdo con las más altas pautas éticas y profesionales. No podemos olvidar nuestra responsabilidad, como investigadores, de ser escrupulosos y asegurarnos de que estamos utilizando fuentes de datos que cumplen con nuestros estándares altos. En base a este evento, ya no podemos garantizar la veracidad de las fuentes primarias de datos. Debido a esta desafortunada situación, los autores solicitan que se retire el artículo.

Todos iniciamos esta colaboración para contribuir de buena fe y en un momento de gran necesidad, durante la pandemia de COVID-19. Nos disculpamos profundamente con usted, los editores y los lectores de la revista por cualquier vergüenza o inconveniente que esto pueda haber causado.
* Mandeep R Mehra, Frank Ruschitzka, Amit N Patel

La publicación del estudio provocó que la Organización Mundial de la Salud (OMS) detuviera un estudio con hidroxicloroquina, pero la OMS lo reanudó al publicarse la expresión de preocupación. (Nota de Salud y Fármacos: la OMS ya ha parado definitivamente los brazos del ensayo que utilizaban hidroxicloroquina, a la luz de los datos de seguridad sobre la cloroquina y la hidroxicloroquina. Puede leer más información sobre este tema en este mismo número del Boletín Fármacos: Farmacovigilancia)

La retractación del artículo publicado en el New England Journal of Medicine [6] se produjo poco más de una hora más tarde, y Desai aceptó la medida:

Debido a que no todos los autores tuvieron acceso a los datos sin procesar, y los datos sin procesar no se pudieron poner a disposición de un auditor externo, no podemos validar las fuentes primarias de datos que subyacen a nuestro artículo, “Enfermedad cardiovascular, farmacoterapia y mortalidad en Covid-19 (Cardiovascular Disease, Drug Therapy, and Mortality in Covid-19)”. Por lo tanto, solicitamos que se retire el artículo. Pedimos disculpas a los editores y lectores de la Revista por las dificultades que esto ha causado.

¿Quién está detrás de Surgisphere? ¿Quién más podría verse afectado?
El artículo de Melissa Davey y Stephanie Kirchgaessner en The Guardian [7] presenta información sobre la compañía detrás del escándalo, su fundador, y sus supuestas colaboraciones con otras universidades.

Se están auditando decenas de artículos científicos que tienen como coautor al director ejecutivo de Surgisphere, incluyendo uno que, según un experto en integridad científica, contiene imágenes que parecen haber sido manipuladas digitalmente. The Guardian ha confirmado lo siguiente:

Las principales instituciones que el sitio web de Surgisphere describía como socios en investigación, incluyendo la Universidad de Stanford, dijeron que no tenían conocimiento de ninguna relación formal con la empresa.

Según afirmaciones de expertos, el estudio que Desai utilizó como base para su doctorado podría contener imágenes manipuladas, y la editorial médica Elsevier está revisando los artículos que ha publicado en sus revistas.

Se han puesto en duda los títulos que Desai dice haber obtenido desde que recibió su título de médico, incluyendo sus afirmaciones de tener dos doctorados, una maestría y estar afiliado universidades y colegios reconocidos. Algunas de estas afiliaciones ya se han eliminado de su página web y de sus biografías en línea.

Además de los artículos del Lancet y el NEJM, un tercer artículo que involucra a Surgipshere y Desai, que examinó el impacto del fármaco ivermectina en pacientes con Covid-19, se eliminó del sitio web SSRN, un repositorio de artículos científicos.

The Guardian puede confirmar que estudios escritos por Desai y publicados antes de que él estableciera la base de datos Surgisphere en 2019 han sido objeto de escrutinio por parte de la comunidad científica y de editores de revistas.

La Dra. Elisabeth Bik, microbióloga especializada en integridad científica, analizó un artículo de investigación publicado en 2005, donde Desai figuraba como coautor, que fue la base del doctorado de Desai en anatomía y biología celular de la Universidad de Illinois en Chicago.

El artículo, publicado en el Journal of Neurophysiology, analizó las diferencias en el tejido del oído interno entre las especies de roedores. Incluía un collage de nueve imágenes de secciones de tejido provenientes de diferentes especies, incluyendo una rata, una chinchilla y una ardilla de árbol.

Bik se dedica por completo a identificar el fraude científico, e investigadores de todo el mundo le envían sus imágenes para que las revise. Tras la retractación de los artículos de Surgisphere, comenzó a examinar algunos de los otros trabajos de Desai. Bik dijo que al ver las imágenes de tejidos en el trabajo de doctorado de Desai, se dio cuenta de que había patrones repetidos.

“Se supone que son de diferentes roedores, sin embargo, las imágenes de ratas y jerbos incluyen áreas compartidas”, dijo. “No es que solo haya copiado y pegado dentro de las imágenes, sino que también lo ha hecho con las células de rata y células de jerbo, por ejemplo”.

Bik publicó sus sospechas en PubPeer, un sitio web donde los científicos pueden hacer comentarios sobre los artículos.

“No puedo pensar en ninguna otra explicación, estas imágenes han sido manipuladas digitalmente”, dijo a The Guardian. Una portavoz de la revista dijo a The Guardian que el comité editorial estaba “al tanto de la situación y estaba revisando el asunto”. Ni Desai ni su supervisor y autor del estudio, de la Universidad de Illinois en Chicago respondieron a la solicitud de comentarios.

Según la biografía que aparece en línea, Desai, que ahora tiene 41 años, ha tenido una carrera extraordinaria y variada. En 2010, la enciclopedia en línea Wikipedia marcó su página con la idea de eliminarla cuando editores cuestionaron sus logros.

“Si la mitad de las afirmaciones de este artículo son ciertas, este es un joven excepcional”, escribió un editor de una página web sobre Desai, quién en ese momento tenía 31 años. “Sin embargo, excepcional no necesariamente equivale a respetable. La mayoría de las afirmaciones no están referenciadas o proceden de los propios sitios web del sujeto. Muchas afirmaciones son exageradas”.

Además de tener al menos un doctorado, el título de médico y trabajar como cirujano vascular, Desai también ha fundado varias empresas, incluyendo a Surgisphere y una organización benéfica. Sus afirmaciones (en la página de Wikipedia que ha sido eliminada) de tener un segundo doctorado y un título en derecho, no pudieron ser independientemente verificadas por The Guardian y Desai no respondió a las preguntas sobre este tema.

Su biografía también dice que completó su maestría en administración de empresas, con especialización en administración de la atención médica en Western Governors University. La universidad no respondió a las solicitudes para que confirmara este MBA. Pero según el archivo universitario, en 2012 pronunció un discurso en una graduación de universitarios y dijo “Nada que sea fácil vale la pena. Porque al final de la lucha hay una fuente que nunca se detiene, una fuente que nos unge con los dones gemelos del conocimiento y la sabiduría”.

En un video que hizo para una campaña para recopilar fondos para apoyar un producto que el mismo diseñó, descrito como un “dispositivo de inducción neuronal portátil”, Desai dijo que también tenía un doctorado en neurociencia. El dispositivo, que Desai se jactó de que podría aumentar la función cerebral y la creatividad, nunca llegó a buen término. The Guardian no pudo verificar que tuviera conocimientos en neurociencia, y Desai no respondió a las preguntas sobre este tema.

Mientras tanto, Elsevier, una conocida empresa holandesa de publicación y análisis especializada en contenido científico, dijo a The Guardian que estaba “iniciando el proceso para reevaluar a fondo” los artículos relacionados con Desai. The Guardian se ha puesto en contacto con varios de los antiguos coautores y colegas de Desai para solicitar comentarios.

La investigación de The Guardian también ha cuestionado otras afirmaciones de Surgisphere. Anteriormente, el sitio web de la empresa decía que se había “asociado” con un puñado de investigadores de universidades líderes para completar “proyectos innovadores”, como Harvard, la Universidad de Minnesota, Stanford, la Universidad de Utah y la Universidad de Glasgow. Esas afiliaciones se eliminaron del sitio web de Surgisphere.

Cuando se preguntó a estas universidades sobre estas colaboraciones, dijeron que no tenían una relación formal con Surgisphere.

Una portavoz de la Universidad de Utah dijo que no tenía conocimiento de ninguna relación institucional. Un coautor del artículo publicado en The Lancet, el Dr. Amit Patel, figura como afiliado a la universidad, pero una portavoz dijo que Patel había sido profesor adjunto no remunerado, y no había ocupado un puesto de profesor desde enero de 2017.

El lunes, Patel anunció en Twitter que había renunciado a la universidad. “Terminé verbalmente mi afiliación con la Universidad de Utah hace más de una semana y formalmente el viernes pasado”, escribió Patel. “Hay un tema mucho más importante sobre el que todavía no tengo información”.

Dijo en el tuit que estaba relacionado con Desai por matrimonio. Pero estas eran “noticias viejas”, dijo. “A pesar de esto, todavía no tengo la información de lo que sucedió en Surgisphere”, dijo.

Patel no respondió a las solicitudes de comentarios de The Guardian. Una portavoz de la universidad dijo: “La Universidad de Utah no comenta las razones por las que cancela los nombramientos académicos”.

La facultad de medicina de la Universidad de Harvard también dijo que no tenía “acuerdos o asociaciones formales de investigación” con Surgisphere, y dijo que la referencia en el sitio web de la compañía podría reflejar la colaboración de Desai con el Dr. Mandeep Mehra, investigador y cardiólogo del hospital Brigham and Women’s, que está afiliado a la escuela de medicina.

Mehra figuraba como el autor al que habían de dirigirse las comunicaciones relacionadas con el estudio publicado en el Lancet, que decía que: “El autor al que hay que dirigir las comunicaciones y el coautor tenían acceso completo a todos los datos del estudio y eran los responsables finales de decidir su publicación”.

En una declaración al Guardian, tras la retractación del artículo publicado en Lancet, Mehra dijo que sus intenciones “siempre han sido contribuir a la discusión científica y asegurar que la práctica de la medicina se basa en la mejor evidencia disponible”.

“Durante esta pandemia, he sentido esto con más intensidad, y creo que hay que proporcionar datos oportunos que informen tanto al campo científico como el cuidado de nuestros pacientes”, dijo.

Mehra dijo que entendía que Surgisphere era una empresa privada que pretendía tener datos de hospitales de todo el mundo “que podrían aprovecharse para responder a las importantes preguntas de salud pública que plantea la pandemia de Covid-19”.

“Ahora tengo claro que, con la esperanza de contribuir con esta investigación durante un momento de gran necesidad, no hice lo suficiente para asegurar que la fuente de datos fuera apropiada para este uso. Por eso, y por todos los inconvenientes, tanto directos como indirectos, lo siento mucho “.

Una portavoz de The Lancet dijo que, como resultado de la retracción del estudio, la revista estaba “revisando los requisitos para el intercambio y la validación de datos entre los autores, y el intercambio de datos después de la publicación”.

La Universidad de Minnesota dijo que no tenía registro de que nadie en la universidad colaborara con Surgisphere. Un portavoz dijo que la universidad había tratado de ponerse en contacto con la empresa para obtener una aclaración al descubrir que el sitio web la mencionaba, pero que no había recibido respuesta.

Tanto la Universidad de Glasgow como Stanford dijeron a The Guardian que no tenían conocimiento de ninguna relación con Surgisphere.

Guardian Australia se ha puesto en contacto con Desai en numerosas ocasiones para solicitar comentarios.

¿Cómo puede ser que estos artículos superaran el escrutinio de los editores y revisores por pares de estas dos prestigiosas revistas?
Andrew D. Althouse [8] y James Heathers [9] escribieron dos artículos complementarios tratando de responder a esta pregunta.

La versión corta de la historia de los artículos retractados es que Surgisphere, una pequeña empresa, afirmó albergar un sistema de datos completamente integrados de las historias electrónicas de salud de al menos 671 hospitales en seis continentes. Parece poco probable que esos datos existieran.

Algunos se han preguntado por qué la revisión por pares no identificó estos artículos como cuestionables, ya que la revisión por pares es el principal sistema de control de calidad para asegurar la integridad de la literatura médica. ¿Cómo los revisores no se dieron cuenta de lo que, en retrospectiva, parece obvio?

Fallo vs Fraude. Primero, debemos distinguir la investigación que es simplemente defectuosa de la investigación que es fraudulenta. Una investigación puede tener “fallas” cuando se realizó un estudio, hay datos reales, pero los investigadores aplicaron técnicas estadísticas inapropiadas o hicieron declaraciones finales que no están totalmente respaldadas por los datos del estudio. Debemos reconocer que, hasta cierto punto, todas las investigaciones son defectuosas. No hay un estudio perfecto, pero siempre que los datos se presenten con honestidad, los científicos pueden discutir sus fortalezas, debilidades e interpretación adecuada. Por el contrario, la investigación totalmente fraudulenta presenta datos que están manipulados de alguna manera o quizás completamente fabricados.

Los artículos fraudulentos pueden incluir estadísticas imposibles o contradictorias que causan sospechas: un promedio que no puede existir, un intervalo de confianza que es increíblemente estrecho o un valor P que no coincide con el resto de los datos. Fabricar estadísticas resumidas sin datos subyacentes es tremendamente difícil de hacer sin generar dudas. Algunos científicos han creado técnicas y herramientas para identificar datos potencialmente sospechosos (ver GRIM, SPRITE, RIVETS). Muchos se inspiraron en el análisis de una serie de artículos sospechosos de un investigador muy conocido en temas de nutrición. Pero estas herramientas son más útiles para analizar los documentos que han despertado sospechas; sería engorroso aplicarlas a todos los artículos como parte del proceso rutinario de revisión por pares.

Además, los dos artículos retractados de Surgisphere no parecían incluir este tipo de imposibilidades. Los estafadores inteligentes pueden crear datos que superen el escrutinio básico mencionado anteriormente, para ello tienen que crear una base de datos que aparente ser realista, mediante simulación, y luego realizar un “análisis estadístico” de los datos simulados, asegurando así que todas las estadísticas que aparecen en el documento sean internamente coherentes. Si se hace esto, un revisor centrado únicamente en el manuscrito podría creer fácilmente que los resultados provienen de una base de datos real.

El contexto es clave. Estos artículos no se habrían identificado fácilmente como sospechosos simplemente tratando de identificar problemas en el análisis estadístico, hay que tener algún conocimiento externo, que es de donde procedieron la gran cantidad de comentarios de los lectores que revisaron los artículos después de su publicación. Las sospechas sobre los artículos de Surgisphere surgieron de quienes conocían los datos de la pandemia por coronavirus y, de manera más general, por la plausibilidad de que una pequeña empresa pueda afirmar que tiene las historias clínicas electrónicas de tantos hospitales integradas en una base de datos. El artículo del NEJM supuestamente incluía datos de 169 hospitales en tres continentes; el artículo de Lancet supuestamente incluía datos de 671 hospitales en seis continentes. Es algo que en la era de las grandes bases de datos (Big Data) podría existir, pero cualquiera que esté familiarizado con la integración de historias clínicas electrónicas sabe que sería un trabajo muy complicado, y que crear y mantener dicha base de datos requeriría mucho tiempo, esfuerzo y personal de apoyo, además de tener que navegar los complejos problemas legales y éticos para permitir que una empresa privada acceda a los datos hospitalarios, sin importar las prácticas de “anonimización” que se hayan implementado. Sin embargo, Surgisphere es una empresa pequeña: se pudieron ubicar pocos empleados y aparentemente ninguno con antecedentes adecuados para este trabajo. Ningún hospital se ha presentado para afirmar que se asoció con Surgisphere; eso no significa que no existan, solo que aún no se ha verificado que existan.

La descripción de la base de datos del estudio que se incluyó en cada manuscrito estaba repleta de términos que suenan impresionantes, pero que hicieron que muchos lectores cuestionaran detalles importantes que se pasaron por alto o se omitieron. Cada manuscrito incluía un párrafo vago sobre un proceso “manual de ingreso de datos” para garantizar la calidad, que parecía estar en desacuerdo con una base de datos supuestamente compilada automáticamente a partir de historias clínicas electrónicas. Los lectores astutos señalaron que era especialmente curioso que hospitales de todo el mundo usaran categorías de “raza” consistentes con las investigaciones de estilo estadounidense, algo que fuera de los Estados Unidos sería inusual (o tal vez incluso ilegal) que lo registraran.

Otros notaron que muchos de los datos parecían inconsistentes con los datos disponibles públicamente sobre pacientes con coronavirus. Por ejemplo, la edad promedio de los pacientes hospitalizados en ambos estudios fue de solo 50 años, mientras que los datos disponibles públicamente sugieren que deberían ser mayores. Sospechosamente, el número de muertes reportadas en el artículo de Lancet para los cinco hospitales australianos excedía el número de muertes reportadas en toda Australia hasta ese momento. Al principio se dieron explicaciones poco claras para explicar algunas de estas cosas; pero los autores no aclararon otros cuestionamientos.

Al escribir este artículo, no sabemos exactamente qué sucedió. Los avisos de retractación eran vagos, esencialmente diciendo que los autores que no pertenecían a Surgisphere ya no respaldaban los datos porque no podían verificar su existencia, mientras que el único autor de Surgisphere se negó a compartir los datos con sus coautores, citando acuerdos con clientes y la confidencialidad.

Entonces, volvamos a la pregunta original: ¿Por qué los revisores no captaron esto? A decir verdad, la revisión por pares en su forma actual está mal equipada para detectar fraudes descarados, especialmente si los estafadores son razonablemente competentes. James Heathers ha explorado esto detalladamente [9].

La respuesta es bastante simple. Ocurrió porque la revisión por pares, el proceso formal de revisión del trabajo científico antes de que se acepte para su publicación, no está diseñado para detectar datos anómalos. No importa si las anomalías se deben a inexactitudes, errores de cálculo o son un fraude total. La revisión por pares no es para esto. Si bien es la insignia de la “ciencia establecida”, reconocida internacionalmente, su valor es mucho más complicado.

En el mejor de los casos, la revisión por pares es una evaluación lenta y cuidadosa de investigaciones nuevas que hacen expertos apropiados. Implica múltiples rondas de revisión para eliminar errores, fortalecer los análisis y mejorar notablemente los manuscritos.

En el peor de los casos, es simplemente una fachada que da la apariencia injustificada de calidad, un proceso superficial que no confiere ningún valor real, sino que refuerza la ortodoxia y pasa por alto tanto los problemas analíticos obvios como el fraude absoluto.

Independientemente de cómo se revise un artículo en particular, la experiencia suele situarse en algún lugar entre los extremos anteriores. La triste verdad es que la revisión por pares en general tiene serios problemas, y retracciones como esta muestran claramente sus problemas.

Las causas de este problema son bien conocidas. En primer lugar, la gran mayoría de las revisiones por pares las hacen voluntarios, no hay un sistema de recompensas. Para que la ciencia progrese hace falta publicar nuevos artículos, que es lo que hace famoso a los científicos. A la revisión de los trabajos no de otros no se le da importancia. Si usted se pasa varios días en un intercambio técnico continuo de ida y vuelta con los autores, tratando de mejorar su manuscrito, agregando nuevos análisis, apuntalando conclusiones, nadie sabrá su nombre. Tampoco se paga. La revisión por pares originalmente se ajustaba a una idea amorfa de “servicio” académico: las tareas que se suponía que los científicos debían realizar como miembros de su comunidad. Esta es una buena idea, pero casi siempre la mantienen investigadores con excelente seguridad laboral. Se sabe que algunos científicos de alto nivel nunca o rara vez han participado en una revisión por pares, porque quita tiempo a su propia investigación.

Sin embargo, incluso si se pueden encontrar voluntarios confiables para la revisión por pares, cada vez está más claro que es insuficiente. La gran mayoría de los artículos revisados por pares nunca verifican si hay consistencia analítica, no puede hacerse: las revistas no requieren que los manuscritos adjunten los datos o el código analítico, y a menudo, si el revisor deseara verlos los editores no lo ayudarían a obtenerlos de los autores. Los autores generalmente no tienen requisitos formales, morales o legales para compartir los datos y los métodos analíticos en que se apoyan sus experimentos. Por último, si se localiza un problema en un artículo publicado y se le menciona a cualquiera de estas partes, a menudo la respuesta es el silencio.

Por lo general, esto no se debe a que los autores o editores sean negligentes o indiferentes. Generalmente se debe a que están tratando de actualizarse para mantener a flote sus carreras científicas y revistas. Desafortunadamente, esos objetivos no son compatibles: los autores tratan de publicar tanto como puedan, lo que se traduce en cantidades exorbitantes de envíos a revistas. Los investigadores cada vez tienen menos tiempo, y a menudo como están con sus propias publicaciones rechazan las invitaciones para revisar. Consecuentemente, la revisión por pares es superficial o poco analítica.

La revisión por pares durante una pandemia se enfrenta a un dilema brutal: la importancia moral de divulgar información importante que rápidamente tendrá consecuencias planetarias, frente a la importancia científica de evaluar el trabajo en detalle, a la vez que intenta reclutar a científicos, que ya están más ocupados de lo habitual por como la pandemia a afectado sus vidas, para revisar gratuitamente los artículos. Y, una vez se completa este proceso, las publicaciones se enfrentan al escrutinio inmediato de un grupo mucho más grande de lectores científicos comprometidos, que tratan a las publicaciones que afectan la salud de cada ser humano vivo con el escrutinio que merecen.

Las consecuencias son extremas. Las consecuencias para cualquiera de nosotros, al descubrir una tos persistente y dificultades respiratorias, vienen determinadas por esta investigación. Los artículos que se han retractado determinan cómo la gente vive o muere. Afectan qué medicamentos se recomiendan, qué tratamientos están disponibles y cómo los obtenemos antes.

La solución inmediata a este problema extremadamente opaco, que permite que artículos defectuosos estén a plena vista, se ha defendido durante años: exigir más transparencia, exigir más escrutinio. Priorice la publicación de artículos que entreguen los datos y el código analítico junto con un manuscrito. Vuelva a analizar los artículos para establecer su precisión antes de publicarlos, en lugar de simplemente evaluar su importancia potencial. Cuando sea necesario, involucre a revisores estadísticos expertos, pague si es necesario. Responda inmediatamente a las críticas y aplique este mismo estándar a los autores. La alternativa es más retractaciones, más pasos en falso, más tiempo perdido, más pérdida de confianza pública… y más muerte.

La revisión por pares es imperfecta pero útil. En este momento, aunque muchos piensan diferente, Althouse cree que la revisión por pares en este caso fue útil, por insatisfactorio que haya sido el resultado final [8]. El grupo de autores también publicó una preimpresión que supuestamente mostraba resultados superiores en los pacientes tratados con ivermectina. La preimpresión estaba muy poco desarrollada en comparación con los artículos revisados por pares que aparecieron en NEJM y Lancet. Si inferimos que las presentaciones iniciales a la revista se parecían a la preimpresión de la ivermectina, los artículos finales agregaron bastante contenido complementario, presumiblemente a pedido de los revisores. Esta información fue posteriormente utilizada por los comentaristas para cuestionar la veracidad de los datos, como la sospechosa similitud de casi todas las características de los pacientes de seis continentes y el número inverosímil de muertes reportadas en Australia. Entonces, aun cuando el proceso de revisión (incluidos los editores de la revista) no impidió que se publicaran los “datos” de Surgisphere, puede haber logrado que los lectores finales tuvieran acceso a los detalles que necesitaban para investigar más y señalar al artículo como cuestionable.

El proceso de revisión por pares no es perfecto, ni tiene que serlo para ser útil. Pero este episodio deja en claro que la revisión y el debate posteriores a la publicación (a menudo facilitados por las redes sociales) son ahora un componente esencial del proceso científico. Los artículos no se vuelven inexpugnables solo porque hayan superado una revisión por pares; eso es un paso en el proceso, pero no el final del proceso. Si se plantean preocupaciones legítimas sobre la integridad de un artículo después de la publicación, es responsabilidad tanto de los autores como de la revista asegurarse de que se aborden las preocupaciones no deliberadas; de lo contrario, corren el riesgo de perder credibilidad.