Replicar la investigación científica es difícil.

Hace cinco años, un par de investigadores en oncología publicaron un artículo en Nature [1] lamentando lo que llamaron la tasa “notablemente baja” de éxito en convertir los productos que se testan en las fases tempranas de los ensayos en oncología en fármacos comercializables. La cuestión, según los autores, es la siguiente: Los estudios sobre el cáncer son sorprendentemente difíciles de reproducir. ¿Qué tan difícil? Los resultados de sólo seis de los 53 ensayos “de referencia se pudieron confirmarse en análisis adicionales”.

Ese artículo sirvió para inspirar una iniciativa ambiciosa para verificar los resultados de docenas de estudios sobre el cáncer de alto impacto. Los esperados resultados ya han sido publicados [2], y no son particularmente alentadores.

Aunque los detalles no están del todo claros, las conclusiones finales son las siguientes: Dos estudios generaron hallazgos similares al original; dos fueron inconclusos; y uno no pudo replicarse.

Ese último estudio [3], de 2010, encontró que cuando se dosifican tumores con fragmentos proteicos los fármacos contra el cáncer funcionan mejor – un enfoque que no se ha podido reproducir. Erkki Ruoslahti, coautor del estudio que no se ha logrado reproducir dijo a Nature que teme que las últimas noticias perjudiquen la capacidad de su compañía, DrugCendR, para recaudar fondos para la terapia. “Estoy seguro que lo hará. No sé qué tanto “, dijo el científico a Nature.

“Lo que estamos viendo aquí es que hay muchas oportunidades de mejorar la reproducibilidad”, dijo Tim Errington, “director de metaciencia” en el Centro de Ciencia Abierta (Center for Open Science), que lidera la iniciativa contra el cáncer.

“La reproducibilidad es difícil, y cuando algo no puede reproducirse, no siempre es obvio por qué”, agregó Brian Nosek, psicólogo de la Universidad de Virginia, en Charlottesville, que dirige el Centro de Ciencia Abierta. Los nuevos artículos “proveen evidencia adicional de que no lo entendemos tan bien como pensábamos haberlo hecho”.

Nosek dirige un esfuerzo para impulsar la reproducibilidad en psicología, incluyendo un estudio que se publicó en 2015 en Science [4] que encontró que sólo alrededor del 40% de los resultados de 100 artículos que él y sus colegas analizaron fueron reproducibles.

Los nuevos análisis, que se publicarán el jueves en eLife, son los primeros de muchos artículos que escribirá el grupo, que también incluye a la científica Elizabeth Iorns y Science Exchange. Ya han terminado tres artículos más, que ahora están enviando a revistas para su publicación, y tienen cerca de 21 estudios adicionales para hacer. Además de los intentos de replicación, el equipo tiene la intención de publicar un metanálisis de sus estudios para tener una perspectiva más general.

El esfuerzo no es barato: la reproducción de cada estudio tardó un promedio de casi siete meses en completarse, a un costo promedio de aproximadamente US$27,000, según los datos de los investigadores. (Preocupaciones presupuestarias obligaron al grupo a reducir de 376 a 50 el número de ensayos que podían volver a analizar). Por otro lado, esto es una fracción diminuta del presupuesto de más de US$30.000 millones de los Institutos Nacionales de Salud.

A modo del ejercicio de autorreflexión, que esperaría en este tipo de iniciativa, una editorial que acompaña al artículo se apresura a señalar las deficiencias potenciales de su enfoque. Por ejemplo, los investigadores en los que se apoyó el proyecto para reproducir los estudios, aunque son imparciales, podrían no tener el mismo nivel de experiencia que los investigadores originales.

Del mismo modo, las reglas del proyecto estipulaban que los laboratorios no cambiarían los experimentos a mitad del ensayo en respuesta a resultados vagos. Sin embargo, los autores del editorial, que no está firmada, escriben que “un laboratorio académico que enfrentase esa situación mientras hace un esfuerzo serio para determinar si un resultado es reproducible realizaría los experimentos de diferentes maneras, en diferentes condiciones, para generar resultados claros y para comprobar si hay alguna condición para la cual se mantienen las observaciones originales”.

Errington reconoce la ironía de que él y sus colegas están publicando sólo cinco estudios de reproducibilidad, un tamaño de la muestra muy pequeño que no permite generalizar. Sin embargo, dijo, “el hecho de que en estos cinco hayamos obtenido resultados diversos nos da una idea de lo que vamos a ver” en los estudios futuros.

Aunque muchos investigadores que el grupo contactó fueron amables y estuvieron dispuestos a ayudar – proporcionando información adicional sobre sus métodos – otros estaban peor predispuestos. Un grupo tardó111 días en responder; otro ignoró la solicitud.

En la cultura actual que rige cómo se hace la ciencia, la intransigencia no sorprende. “Uno de los objetivos más amplios que tengo”, dijo Nosek a STAT, “es cambiar entendimiento de que la reproducibilidad es una amenaza a que es un cumplido”.

Tener éxito en eso sería al menos tan importante para impulsar la ciencia como para replicar algunos estudios.