Comenzó en junio, con la enfermedad cardiovascular. Luego, a finales de agosto hubo otra pelea, pero en cáncer. ¡Han sido unos meses difíciles para los ensayos clínicos de no inferioridad!

Sabemos, desde que se empezaron a hacer ensayos de no inferioridad, que es muy probable que la evidencia que producen sea inferior. Un ensayo clínico “normal” intenta establecer si un tratamiento (o lo que sea) es mejor que un placebo u otra intervención: es un ensayo de superioridad. Un ensayo de no inferioridad baja mucho el listón, y por eso es más fácil hacerlos. Simplemente aspiran a demostrar que el tratamiento “no es peor”, más o menos.

Hay una explicación detallada que escribió Steven Snapinn para estudiar me toos y, un primo cercano de la no inferioridad, la equivalencia, en este enlace https://www.ncbi.nlm.nih.gov/pmc/articles/PMC59590/ [1]. Él escribió:

… los resultados de tales ensayos no son tan creíbles como los de un ensayo de superioridad … (A) el ensayo de no inferioridad que encuentra con éxito que los efectos de los tratamientos son similares no ha demostrado tal cosa.
Extraño.

Snapinn explicó una serie de problemas inherentes a estos diseños que ya se conocían en aquel entonces, en 2000. Incluso el cegamiento podría no funcionar tan bien como en las pruebas de superioridad. Si está evaluando resultados subjetivos, sin conocer el grupo de tratamiento en que está el participante en un ensayo de no inferioridad, y está predispuesto a creer que los tratamientos son iguales, es fácil concluir que los resultados no van a ser muy diferentes, argumentó Snappin.

Los ensayos de no inferioridad han aportado algunas buenas noticias: Venkatesh Murthy & co escribieron sobre algunas de ellas, con cauteloso optimismo (2012) [2]. Utilicé la estrategia de búsqueda de esos autores para tener una idea aproximada de si el número de esos estudios seguía aumentando. Y sí sigue aumentando. Siguen siendo una pequeña proporción de todos los ensayos, pero parecen estar aumentando más rápidamente. (Los detalles y los datos están en el enlace que aparece el final de esta publicación).

Puede haber relativamente pocos de ellos, pero tienen una influencia desproporcionada. En 2010, un informe de la Oficina de Responsabilidad del Gobierno (GAO) descubrió que la FDA aprobó 18 de las 43 solicitudes de comercialización de medicamentos nuevos presentadas entre 2002 y 2009 basadas en los resultados de ensayos de no inferioridad [3].

Caramba.

Lo que nos lleva al primero de los dos nuevos estudios sobre ensayos de no inferioridad.

Behnood Bikdell y sus colegas desenterraron y evaluaron los ensayos de no inferioridad de enfermedades cardiovasculares que se publicaron en tres de las revistas médicas generales de más alto perfil entre 1990 y a 2016 (junio de 2019) [4]. Encontraron 111 de ellos, casi la mitad publicados después de 2010. La mayoría de los ensayos fueron financiados total o parcialmente por la industria. Más de la mitad eran ensayos con medicamentos (69, 5%).

Los ensayos concluyeron principalmente que los tratamientos que probaron no fueron inferiores (77,5%). ¿Cuál es la preocupación?

Solo 7 ensayos (6,3%) se consideraron de bajo riesgo según la presencia de factores que pueden sesgar los resultados de forma grave y moderada.

Se identificaron los conjuntos habituales de problemas que suelen estar presentes en cualquier grupo de ensayos. Arriba de todo figuraban las debilidades propias de los ensayos de no inferioridad. El nivel al que se colocan los umbrales para determinar si el tratamiento es igual o superior, oscilaba mucho, escribieron los autores. Y a menudo no se justificaba la elección del margen, en el 38,7% de los ensayos, que es una proporción enorme. En el caso de los ensayos que contaban con un documento o protocolo en el que se explicaban los métodos con detalle (60% de ellos), “se encontraron discrepancias entre el umbral de no inferioridad mencionado en los protocolos y el mencionado en el manuscrito publicado en 1 de cada 8 ensayos”. Desplazar los umbrales sin ofrecer una justificación sería alarmante, sin duda.

El siguiente fue el de Bishal Gyawali y sus colegas, que hicieron una revisión sistemática (30 de agosto de 2019) [5]. Su estudio no incluye tantos ensayos, pero aquí no tenemos que tomar en consideración si ha podido influir la selección sesgada de algunas revistas (como preferir estudios con resultados “positivos”).

Gyawali et al. buscaron ensayos de no inferioridad con medicamentos contra el cáncer que utilizaran como medida de impacto la supervivencia general. Encontraron 128 ensayos de no inferioridad para el tratamiento del cáncer, de los cuales 74 fueron ensayos farmacológicos, y 23 de ellos cumplieron con sus criterios de inclusión. Eso significa que el 69% de estos ensayos de medicamentos contra el cáncer utilizaron medidas menos confiables, como la supervivencia libre de progresión, lo que impide que los pacientes y los médicos estén muy seguros de lo que podrían estar obteniendo.

La historia de los 23 ensayos de medicamentos contra el cáncer que estudiaron fue similar a la de los 111 ensayos cardiovasculares: nuevamente, el 78% de los ensayos concluyeron que no era inferior. La mayoría fueron financiados total o parcialmente por la industria. Los autores no discutieron la justificación del umbral escogido para determinar la no inferioridad, pero tenían criterios para justificar el uso del diseño de no inferioridad: el fármaco experimental era menos tóxico, más barato para los pacientes, más fácil de usar o podría mejorar calidad de vida.

Y el 39% de los ensayos no superaron ese umbral.

Lo que los autores informan sobre los umbrales de no inferioridad fue revelador. La variación fue amplia, incluso aquí, donde estamos hablando exactamente de la misma medida de resultado: 1,08 a 1,33 para el límite superior del intervalo de confianza (IC) de la razón de riesgo, lo que significa que se consideró aceptable que hubiera un aumento en el riesgo de muerte de entre un 8% y un 33% de (no inferior) en estos ensayos. Además, en múltiples casos, este límite superior se definió no para un IC del 95% sino para un IC del 90% o incluso del 80%.

Para la mayoría de los ensayos (70%), el nivel aceptado fue del 22%. (Reducir el nivel del intervalo de confianza facilita que resulten con significancia estadística).

Cuando el equipo de Gyawali reunió los datos de todos los ensayos en un meta-análisis con un intervalo de confianza del 95%, los medicamentos experimentales no empeoraron (ni mejoraron) la supervivencia. (Explico el meta-análisis aquí https://blogs.plos.org/absolutely-maybe/2017/07/03/5-tips-for-understanding-data-in-meta-analyses/ )

Los ensayos de no inferioridad pueden ser atractivos por su alta probabilidad de éxito [5] … Sin embargo, nuestros datos muestran que los comités de ética de investigación y los reguladores de medicamentos deben ser más activos en determinar si el diseño de no inferioridad es aceptable para la pregunta de investigación. Cuando los ensayos clínicos con diseño de no inferioridad se consideran importantes, los criterios para definir la no inferioridad deben definirse claramente, en base a una justificación ampliamente aceptada, y deben incorporar los comentarios de los pacientes.

La incorporación de las preferencias de los pacientes en el diseño de ensayos de no inferioridad fue el tema de un artículo de Sergio Acuña y sus colegas publicado en junio [6]. Es bueno constatarlo. En esta área, hay muchas suposiciones no probadas sobre lo que es importante para los pacientes, incluyendo las actitudes hacia los placebos.

Un argumento frecuente para utilizar diseños de no inferioridad es cuando un control con placebo no es aceptable. Pero esa razón, por sí sola, no es suficiente. Es posible que haya tratamientos activos razonables con los que se pueda comparar la efectividad. Simone Lanini y sus colegas [7], a principios de agosto, utilizaron datos simulados para argumentar que otra opción, los ensayos aleatorios adaptativos, tienen las ventajas de los ensayos de no inferioridad, pero siguen siendo un ensayo de superioridad. (Los ensayos adaptativos [8] están planeados para cambiar el diseño en función de los resultados que se obtienen a medida que avanza el ensayo).

Estos estudios recientes no son los primeros que intentan responder estas preguntas, y no todos han aportado resultados preocupantes: un estudio de 170 ensayos en 2010 [9], por ejemplo (cuestionado aquí [10]). Con el ritmo y la influencia de estos ensayos en aumento, espero que en el futuro se haga una buena revisión para poner esto en perspectiva. Si el número y la influencia de estos ensayos siguen creciendo, a pesar de que no son lo suficientemente rigurosos, se convierten en un tema crítico que hay que abordar.

Murthy et al., en su artículo cautelosamente optimista de 2012 [2] expresaron preocupación por el temor de que se pudieran llegar a aprobar nuevos medicamentos basados en la no inferioridad respecto a otros medicamentos aprobados en ensayos de no inferioridad. Sería tranquilizador comprobar que todavía no estamos allí. Pero las personas también podrían confiar en evidencia profundamente inferior para otras decisiones. Probar que algo es mínimamente no inferior a otro, que posiblemente es sólo no inferior, bien podría ser un camino rápido y fácil: pero se aleja varios grados de cuando se demuestra que es superior a no hacer nada.