A continuación, resumimos un artículo publicado por Angus Chen en Statnews [1]. Replicar los resultados es la base de la ciencia, y los biólogos que se dedican a oncología del Centro para la Ciencia Abierta quisieron averiguar cuántos de los experimentos más influyentes sobre el cáncer eran reproducibles. Hicieron 23 estudios y 50 experimentos en casi 10 años, y acaban de publicar los resultados. No pudieron replicar el 59% de los experimentos, y cuando sí se pudieron replicar, el tamaño del efecto era, como media, un 85% inferior que en los estudios originales, lo que sugiere que las conclusiones de los estudios pueden ser mucho más tenues de lo que se pensaba en un principio.

Sin embargo, extraer conclusiones firmes de estos resultados es complicado. Tim Errington, biólogo especializado en cáncer del Centro para la Ciencia Abierta (Center for Open Science), una organización sin ánimo de lucro dedicada a mejorar la investigación científica dijo que uno de los problemas es que la ciencia avanza a toda velocidad y no siempre se detiene a analizar si hay que seguir profundizando o si se trata de un hallazgo casual. La repetición de los experimentos y la validación de las conclusiones podrían indicar qué estudios tienen futuro. Pero es un trabajo duro e imperfecto.

Atul Butte, un científico de la salud computacional en la Universidad de California, San Francisco, alabó el esfuerzo de los científicos, pero dijo no estar de acuerdo con la metodología utilizada. Butte señaló que al intentar reproducir los estudios se hicieron cambios a los protocolos experimentales que podrían influir en los resultados.

El proyecto comenzó en 2013. Los investigadores seleccionaron 53 artículos sobre biología del cáncer, publicados entre 2010 y 2012 que habían sido citados muchas veces. Estos artículos relataban 193 experimentos que el equipo esperaba replicar, y empezaron a reconstruir el experimento según la metodología descrita en el artículo. Ese fue el primer problema.

El trabajo de laboratorio es un poco como la repostería. Sin una receta clara, es difícil saber exactamente qué hacer, y Errington descubrió que la ciencia está plagada de protocolos experimentales incompletos. A veces hay detalles minúsculos que afectan los resultados, como la rapidez con la que se agita un matraz.

El Centro para la Ciencia Abierta se puso en contacto con los investigadores originales de cada estudio que intentaron replicar, con la esperanza de rellenar las lagunas, obtener datos brutos y recabar información para rehacer sus experimentos. A veces eso funcionaba, dijo Errington, pero a menudo los laboratorios no podían recordar cómo habían hecho el trabajo. Esto obligó a veces al equipo a renunciar a la replicación, reduciendo esos 193 experimentos a sólo 50.

Alrededor de un tercio de las veces, Errington dijo que los científicos no proporcionaron detalles o datos adicionales, o simplemente nunca respondieron. Al recordar el proyecto, Errington dijo que hubo muchos errores de comunicación, correos electrónicos perdidos y largas búsquedas de datos. “Ha sido agotador. Nunca pensamos que nos llevaría tanto tiempo. Nos ha costado mucho más de lo que pensábamos”.

Estos problemas de comunicación afectaron la reproducción del experimento de Butte, aunque al final lograron hacerlo pero, como ocurrió con la mayoría de las réplicas, encontraron un tamaño de efecto menor. Además, al igual que en muchos de los experimentos de réplica, el equipo tuvo que cambiar algunos de los métodos, incluyendo el método estadístico utilizado para analizar los datos. Cuando se publicó el documento de réplica, Butte se sintió sorprendido por los cambios.

“Eligieron una prueba estadística adicional que nosotros no hicimos”, dijo Butte. “Un estadístico independiente, Robert Tibshirani, uno de los mejores del mundo, comentó que su proceso era incorrecto. Busqué las credenciales de todos los autores [de la reproducción] y no había ni un solo bioestadístico en su equipo”, añadió. “¿Es esto reproducibilidad?”

Pero según Errington, revisores independientes aprobaron las modificaciones a los protocolos antes de replicar el experimento, dijo. También consultaron con científicos cuantitativos independientes, a través del proceso de revisión por pares de la revista eLife, sobre los métodos estadísticos. Aun así, reconoció que es posible que cualquier modificación haya alterado los resultados de las réplicas.

“La biología humana es muy difícil. No somos perfectos, y es realmente complicado”, dijo. “Ninguna de estas réplicas invalida o valida la ciencia original. Puede que el estudio original sea erróneo, un falso positivo o una falsa señal. También puede ocurrir lo contrario y que la réplica esté equivocada. Lo más probable es que ambas cosas sean ciertas, y que algún pequeño detalle en la forma de hacer el experimento esté causando la diferencia”.

Butte se mostró de acuerdo y añadió que la replicación de procedimientos, como la que intenta el Centro para la Ciencia Abierta (Center for Open Science), es importante. Y, en parte, es gracias a los esfuerzos del Centro para la Ciencia Abierta, que las revistas académicas han avanzado para evitar que se repitan los problemas de replicación, dijo Butte. Por ejemplo, como ahora los artículos científicos se publican en línea, editoriales como Science y Nature permiten que los investigadores incluyan métodos y datos más detallados en largos archivos suplementarios, lo que soluciona una antigua limitación de los estudios de reproducibilidad. Recientemente, la Asociación Americana para la Investigación del Cáncer anunció que las secciones de métodos ya no contarán para la longitud de las palabras de los artículos, por lo que los investigadores pueden explicar sus protocolos con detalle.

“Hay muchos cambios desde hace cinco años. Creo que hay que reconocerle el mérito [al Centro para la Ciencia Abierta]”, dijo Butte. “Hay muchos aspectos positivos”. Pero añadió que no lo es todo. La replicación paso a paso, perfectamente idéntica, sólo puede decir si un experimento puede hacerse de nuevo, no si las conclusiones originales son realmente sólidas, dijo Butte. En su lugar, Butte dijo que sería mejor tener a 100 científicos diferentes probando la misma idea con 100 modelos diferentes -desde primates hasta células en placas de Petri- y ver en qué se ponen de acuerdo. “Quiero ver el 60% que tienen en común todos nuestros experimentos, ¿no?”, dijo. “Esta es la verdadera reproducibilidad que deberíamos lograr”.