Integridad de la Ciencia

Las revistas, corren el riesgo de ser utilizadas como agencias reguladoras cuando publican estudios de nuevas vacunas que aún no han sido autorizadas por los principales entes reguladores. Chris van Tullekensostiene que la revisión por pares no es suficiente para decidir la relación riesgo-beneficio de los nuevos medicamentos.

En agosto de 2020, el presidente ruso Vladimir Putin presentó a Sputnik V, una vacuna desarrollada por el Centro Nacional de Epidemiología y Microbiología Gamaleya de Rusia. El presidente dijo que dicha vacuna había superado «todos los ensayos necesarios» [1], una afirmación que no parecía estar respaldada por la información que aparecía en el certificado de registro, escrito en ruso, que estipulaba que solo 38 participantes habían recibido la vacuna [2].

Las respuestas internacionales oscilaron entre la preocupación y la burla. Al otorgar el permiso para la aplicación de una vacuna antes de que los resultados de los grandes ensayos aleatorizados de fase III estuvieran disponibles, el gobierno ruso parecía asumir dos riesgos inmensos. En primer lugar, el riesgo de daño directo a un gran número de personas. Las vacunas deficientes no solo no logran proteger a las personas, sino que también pueden generar reacciones adversas graves, entre ellas una infección posterior por Covid podría ser más grave por tener anticuerpos asociados a la enfermedad, un fenómeno que se ha observado con los coronavirus SARS y MERS [3]. En segundo lugar, si las personas sufren daños, la confianza pública en el programa de vacunación y las futuras inversiones en el desarrollo y aplicación de la vacuna contra la COVID-19 se podrían ver comprometidas. Es fácil dañar la confianza pública en las vacunas, y después lleva mucho tiempo recuperarla.

En septiembre de 2020, The Lancet publicó los primeros datos sobre la Sputnik V revisados por pares: dos estudios abiertos (es decir no enmascarados), no aleatorizados, cada uno con 38 personas. No se registraron reacciones adversas graves y la vacuna pareció inducir fuertes respuestas inmunes en los participantes [4].

Preocupación por los datos de los ensayos de fases I y II
Enrico Bucci fue una de las primeras personas en detectar inconsistencias en este artículo sobre el ensayo. Bucci dirige una empresa italiana de integridad en la investigación y, solo tres días después de la presentación de la vacuna, publicó una carta abierta en la que expresaba su preocupación, había detectado que los participantes parecían tener valores idénticos para diferentes variables [5]. También observó patrones idénticos en algunas variables de resultados, que se repetían en diferentes grupos de participantes.

Estos resultados parecían importantes, así que firmé la carta abierta de Bucci, con más de 40 científicos. Después, junto con otros 15 científicos, escribí una carta donde solicitábamos tener acceso a los datos originales que se utilizaron para generar esas cifras, y The Lancet la publicó [6].

El equipo que desarrolló la Sputnik respondió diciendo que los patrones que habíamos identificado en los datos eran «coincidencias asociadas tanto a las características de los datos como a que el número de participantes en los grupos era pequeño» y confirmó que los datos individuales de cada participante se pondrían a disposición cuando lo solicitara el autor principal de la carta y que «tras aprobarse la solicitud, los datos se podrían compartir a través de una plataforma en línea segura» [7].

Al principio, esto fue reconfortante. The Lancet se muestra entusiasta con el libre acceso a la información. Su sitio web dice: «Queremos una comunidad de investigación global en donde compartir datos no identificados se convierta en la norma», y una editorial de septiembre de 2020 decía que «los autores deben esforzarse por corroborar sus conclusiones con datos a los que los lectores puedan acceder, para que se puedan reproducir los análisis. Las revistas de The Lancetcontinuarán responsabilizando a los autores y editores por los datos publicados en sus páginas, y alentamos a nuestros lectores a hacer lo mismo» [8].

Sin embargo, a pesar de estas afirmaciones, tanto The Lancetcomo el equipo que desarrolló la Sputnik no han proporcionado ni los datos a partir de los cuales se generaron las cifras, ni los datos individuales de cada paciente. The Lancet se negó a responder específicamente a las preguntas sobre si iban a mantener el acuerdo de intercambio de información o si habían solicitado más datos al equipo. En cambio, lo que hizo fue publicar, sin explicación alguna, una breve modificación para corregir el documento [9], que parecía ser una respuesta a las cartas, pero sin hacer referencia a ellas.

Preocupaciones por los datos del ensayo de fase III
Después de que se publicaran un montonal de noticias, el interés de la prensa por las preocupaciones en torno a la Sputnik V disminuyó, hasta que el 2 de febrero de 2021, cuando se publicó un informe preliminar sobre el estudio de fase III, nuevamente en The Lancet [9].

El artículo informó una eficacia de más del 90% en 14.964 adultos vacunados, y la revista también incluyó varias editoriales haciendo comentarios favorables. Uno decía: «La posible futura vacuna contra la COVID-19, conocida como Sputnik V, parece segura y eficaz» y agregó «ahora hay otra vacuna que puede unirse a la lucha» [11]. Otra editorial alabó a Rusia «por sus esfuerzos para hacer que su vacuna esté disponible y sea asequible a los países de todo el mundo» [12].

Pero, una vez más, Bucci volvió a enviar una carta abierta de preocupación en respuesta al artículo, y destacó una gran cantidad de pequeños errores que no se esperan en un estudio de tal importancia [13]. Por ejemplo, en un gráfico de Kaplan-Meier, había cientos de participantes que aparecían en el análisis de datos del día 20 que no se habían incluido en el análisis de datos del día 10. En otro cuadro de datos que aparecía en el apéndice, los números no se correspondían con el total. Más adelante, en una respuesta en línea al The BMJ, Bucci y un grupo internacional de autores destacaron la probable incongruencia de los valores sobre la eficacia de la vacuna que se informaron en los análisis preliminares [14].

Bucci no estaba solo. Vasiliy Vlassov, profesor de la Escuela Superior de Economía de la Universidad Nacional de Investigación en San Petersburgo, también escribió una carta abierta donde hacía referencia a la pequeña corrección que hizo The Lancet en el artículo anterior, que, según él, «ha exacerbado la desconfianza» [15]. Además, señaló que, a diferencia de las vacunas autorizadas por uno de los principales entes reguladores, el equipo que desarrolló la Sputnik se distinguía por ser el único que había desarrollado una de las vacunas importante sin publicar el protocolo completo del ensayo.

Luego, The Lancet publicó una corrección sobre el ensayo de fase III, para enmendar, otra vez, algunas de las anomalías [16]. La impresión general es que hubo fallos en la revisión por pares y en el proceso editorial y no detectaron lo que, al parecer, eran claros errores antes de divulgar los resultados de esta investigación de gran impacto.

The Lancet, como promotor
En circunstancias normales, estos errores evidentes y las editoriales acríticas y entusiastas serían bastante preocupantes. Pero ahora preocupan de forma especial porque cuando se publicó el ensayo de fase III, ningún regulador importante había siquiera recibido una solicitud de permiso de comercialización para la vacuna. En cambio, todas las otras vacunas contra la COVID-19 que habían publicado los resultados de un ensayo de fase III en una revista de gran influencia ya habían entregado la información a un ente regulador de referencia o ya habían recibido la aprobación. La Agencia Europea de Medicamentos [EMA] apenas comenzó a revisar la solicitud presentada por el equipo que desarrolló la Sputnik el 4 de marzo, un mes después de su publicación en The Lancet.

Entre tanto, el equipo de marketing de la Sputnik V y su principal inversor, el Fondo Ruso de Inversión Directa (Russian Direct Investment Fund) utilizan las publicaciones en The Lancet con gran éxito. El artículo publicado en The Lancet se citó en las famosas cuentas de Twitter [17] e Instagram de la Sputnik, en todos los comunicados de prensa [18] y en múltiples entrevistas [19]. El sitio web de la vacuna sostiene: «Los resultados sobre la eficacia y la seguridad de la Sputnik V han sido validados por la revisión por pares internacionales a la que se someten los artículos publicados en The Lancet» (https://sputnikvaccine.com/).

Además, el artículo de The Lancet parece haber generado confianza a otros países. Antes de la publicación del ensayo de fase III, 16 países habían autorizado el uso de la Sputnik V; ahora, más de 40 países la han autorizado [18]. Se han solicitado cientos de millones de dosis y, según el equipo de la Sputnik, ya se han entregado millones de dosis [20].

La mayoría de los 40 países que aplicaron la vacuna antes de que la autorizara la EMA son países de bajos y medianos recursos, sin agencias reguladoras independientes y con suficientes fondos. Resulta lógico que, debido a la urgente escasez global de vacunas aprobadas por una autoridad reguladora de referencia, posiblemente no tuvieron otra opción que confiar en el escrutinio científico de The Lancet. Sin embargo, a pesar de su reputación internacional ¿tiene validez el proceso de revisión por pares de The Lancet para esto?

La revisión por pares de la pandemia
Los médicos clínicos y los investigadores están entrenados para confiar en el poder de la revisión por pares. Dicha confianza se ha podido observar cuando Pfizer publicó los resultados del ensayo preliminar en un comunicado de prensa, antes de hacerlo en las revistas científicas.

Richard Horton, editor jefe de The Lancet expresó el mismo sentimiento: «Sobre la vacuna contra la COVID-19 de Pfizer: publicar los resultados preliminares en un comunicado de prensa no es una buena práctica científica ni ayuda a fomentar la confianza pública en las vacunas. En una revista científica, un anuncio debería ir acompañado de la publicación completa de un trabajo de investigación revisado por pares» [21].

La declaración de Horton es un indicador de la confusión sobre las razones por las que se publican los resultados importantes en comunicados de prensa, y es que las empresas de todo el mundo tienen la obligación legal de informar a los inversores sobre los avances importantes de manera inmediata, y pone en evidencia la confianza erróneamente depositada en las revisiones por pares que se hacen para las revistas. Se podría esperar que The Lancet procediera con más cautela cuando gestiona artículos de investigación sobre COVID-19 o sobre vacunas.

Durante el verano de 2020, tanto The Lancet como The New England Journal of Medicine publicaron —y luego retractaron— estudios importantes sobre la COVID-19 basados en una base de datos falsa. The Lancet cometió un error similar con un artículo publicado en 1998, que vinculaba a la vacuna MMR con el autismo, el cual estuvo disponible durante 12 años y contribuyó al rebrote del sarampión en todo el mundo.

Se reconoce que la clásica revisión por pares que hacen las revistas no tiene capacidad para detectar los errores y los datos falsos, eso no nos debería sorprender [22]. Después de seleccionar un escrito para que se le haga una revisión externa, independiente del equipo editorial, se suelen identificar a dos o tres revisores y a un estadístico para que lo evalúen. Los plazos de entrega pueden ser cortos, casi nunca se remunera a los revisores y, al ser expertos internacionales, suelen estar ocupados. En general, dedican algunas horas a la revisión de un artículo, y, de cuando en cuando incluyen a estudiantes de postdoctorado para que hagan una evaluación adicional. En las revistas bien financiadas, antes de su aceptación y publicación se hace una revisión interna adicional y una edición exhaustiva, pero cuando se acelera la publicación de resultados importantes y de actualidad se pueden tomar atajos. Después de la retracción en verano de 2020, Horton habló con The New Yorker sobre las tensiones que se generan al publicar en medio de una pandemia. «Creo que no tuvimos la capacidad de ocuparnos de ello [el aumento de los artículos que teníamos que procesar], y eso nos sobrepasó», dijo Horton. «Inevitablemente, en momentos como ese, uno se inquieta mucho por los errores».

Es probable que los editores y los revisores del artículo de la Sputnik V hayan tenido acceso únicamente a las 20 páginas de los documentos en formato PDF que acabaron publicándose. El sitio web de The Lancet deja claro que, como muchas revistas, no puede acceder a los «datos originales relacionados con las investigaciones» [23].

Tales limitaciones afectan la confianza general en las publicaciones de las revistas, pero resultan más preocupantes cuando los datos publicados se refieren a importantes medidas de salud pública, como la vacunación, y todavía no han sido evaluados por ningún ente regulador riguroso.

El proceso regulador
El proceso de regulación tiene sus defectos y ha recibido críticas [24- 26]. Su objetivo es similar a la revisión por pares, es decir, analizar un documento recibido, pero su alcance y magnitud es mucho mayor.

En la mayoría de las revistas, la revisión por pares la realizan dos o tres expertos no remunerados, anónimos, en solo algunas horas, sin intereses declarados públicamente y sin acceso a los datos originales sobre los que se basa el artículo. En cambio, la EMA y otros entes reguladores designan a equipos de expertos internos y externos, con intereses declarados y conocimiento en diversos aspectos críticos de un producto nuevo. Estos también tienen acceso ilimitado a todos los datos no clínicos, clínicos y de fabricación. Con frecuencia hacen una auditoría al patrocinador e inspeccionan los sitios donde se llevó a cabo la investigación y la fabricación. Si quieren, pueden revisar las historias clínicas individuales de cada paciente para verificar los datos.

La solicitud para obtener la autorización reglamentaria no consiste únicamente en presentar muchos datos. Es un proceso coordinado y colaborativo, regido por centenares de páginas de regulaciones y guías. Por lo general, las reuniones entre el patrocinador y el ente regulador comienzan antes de la presentación del documento, y los fabricantes de medicamentos pueden recibir una orientación formal sobre cada aspecto del diseño del estudio.

En términos de transparencia, la EMA ha divulgado los informes de las evaluaciones públicas de las vacunas contra la COVID-19 que ha autorizado. Estos informes tienen una extensión de más de 150 páginas y explican en detalle las razones por las que se aprueban. También incluyen las obligaciones jurídicas del patrocinador para resolver cualquier discrepancia en los datos. Además, la EMA ha publicado miles de páginas con información procedente de los documentos sometidos.

En comparación con este proceso extenso y bien documentado, la publicación revisada por pares, incluso en una revista famosa como The Lancet, tiene un nivel de escrutinio muy inferior. Sin embargo, desde la singular forma en que se hizo el anuncio inicial, todo lo relacionado con la Sputnik V ha demostrado merecer un análisis detallado por parte de la revista.

La vacuna se desarrolló en una institución de un país sin una historia significativa de desarrollo de vacunas, y se comercializó de forma intensiva sin siquiera haber solicitado el permiso de comercialización frente a un ente regulador importante. Estas cosas por sí solas podrían haber planteado la necesidad de tomar precauciones excepcionales al publicar los resultados del ensayo de fase III de la vacuna. No obstante, The Lancet optó por acompañar la publicación con editoriales favorables que no mencionaban la necesidad de someterla a un escrutinio regulatorio. Después de su publicación, surgieron inquietudes genuinas en relación con los datos, y The Lancet no ha podido lograr que se cumplieran los compromisos de intercambio de datos que realizaron los autores.

No se sabe exactamente cuándo la EMA emitirá su juicio sobre la Sputnik V, sobre todo si se tiene en cuenta la preocupación por los problemas de coagulación que han surgido desde entonces con vacunas parecidas que utilizan plataformas de vectores adenovirales. Si se aprueba, la Sputnik V supondrá una mejora para la salud global, una idea que The Lancet, bajo la dirección de Richard Horton, ha defendido de forma radical. Quizás su respaldo inicial a la Sputnik concuerda con esto. Sin embargo, así como este episodio plantea inquietudes sobre el compromiso de The Lancetcon el libre acceso a los datos, también cuestiona el nivel de compromiso que tienen con su lema «la mejor ciencia para la mejor vida».

En cambio, si la Sputnik V no se aprueba, emergerán inquietudes mucho más graves sobre el daño evitable impulsado por el exceso de confianza en la revisión por pares de la revista, y sobre el daño aún mayor y de gran trascendencia a la frágil confianza del público en las otras vacunas que realmente son seguras y eficaces.

Respuesta de The Lancet
Antes de publicar este artículo, el BMJ compartió con The Lancet la lista de las acusaciones que aparecen en este artículo con respecto a la publicación de los ensayos de la Sputnik V en The Lancet. Recibimos la siguiente respuesta de Emily Head, Gerente de Relaciones con los Medios:

«La revisión por pares de esta investigación la realizaron especialistas internacionales en materia de COVID-19 y vacunas, incluyendo un revisor estadístico, de manera independiente. En las revistas The Lancet, nuestros editores consideran que la comunicación con los autores es confidencial, y los detalles de la revisión por pares, incluyendo las fechas y los comentarios realizados, no se comparten con el público.

Toda la información pública disponible sobre los artículos que aparecen en The Lancet se publica junto con el artículo, en las secciones de Materiales Complementarios o Artículos Vinculados en el sitio web del artículo. Además, las explicaciones de cualquier error que se haya corregido en un artículo aparecen en los avisos del Departamento de Error.

Nuestras políticas sobre la revisión de pares, el acceso a los datos y las correcciones están disponibles aquí: https://www.thelancet.com/publishing-excellence .

Biografía
Christoffer van Tulleken es Médico Infectólogo del hospital de la University College London (UCL) y Profesor Adjunto honorario en la UCL en la división de infecciones e inmunidad. También trabaja como locutor de la BBC en la sección de ciencia y salud para niños y adultos (incluida la ¡Operación Ouch!, programa que ha ganado dos veces los premios BAFTA). Mucho de su trabajo académico y de radiodifusión se centra en los conflictos de interés y en la integridad de la investigación.