Gestión de los Ensayos Clínicos, Metodología, Costos y Conflictos de Interés

A continuación, resumimos un artículo de Angus Chen publicado en Statnews [1]. Reproducir los resultados es la base de la ciencia, y los biólogos del Centro para la Ciencia Abierta (Center for Open Science) que se dedican a oncología quisieron averiguar cuántos de los experimentos más influyentes sobre el cáncer eran reproducibles. Hicieron 23 estudios y 50 experimentos en casi 10 años, y acaban de publicar los resultados. No pudieron reproducir el 59% de los experimentos, y cuando sí los pudieron hacer, el tamaño del efecto era, como media, un 85% inferior que en los estudios originales, lo que sugiere que las conclusiones de los estudios pueden ser mucho más tenues de lo que se pensaba en un principio.

Sin embargo, extraer conclusiones firmes de estos resultados es complicado. Tim Errington, biólogo especializado en cáncer del Center for Open Science, una organización sin ánimo de lucro dedicada a mejorar la investigación científica dijo que uno de los problemas es que la ciencia avanza a toda velocidad y no siempre se detiene a analizar si hay que seguir profundizando o si se trata de un hallazgo casual. La repetición de los experimentos y la validación de las conclusiones podrían indicar qué estudios tienen futuro. Pero es un trabajo duro e imperfecto.

Atul Butte, un especialista en salud computacional de la Universidad de California, San Francisco, alabó el esfuerzo de los científicos, pero dijo no estar de acuerdo con la metodología utilizada. Butte señaló que al intentar reproducir los estudios se hicieron cambios a los protocolos experimentales que podrían influir en los resultados.

El proyecto comenzó en 2013. Los investigadores seleccionaron 53 artículos sobre biología del cáncer publicados entre 2010 y 2012 que habían sido citados muchas veces. Estos artículos relataban 193 experimentos que el equipo esperaba reproducir, y empezaron a reconstruir el experimento según la metodología descrita en el artículo. Ese fue el primer problema.

El trabajo de laboratorio es un poco como la repostería. Sin una receta clara, es difícil saber exactamente qué hacer, y Errington descubrió que la ciencia está plagada de protocolos experimentales incompletos. A veces hay detalles minúsculos que afectan los resultados, como la rapidez con la que se agita un matraz.

El Centro para la Ciencia Abierta se puso en contacto con los investigadores originales de cada estudio que intentaron reproducir, con la esperanza de rellenar las lagunas, obtener datos brutos y recabar información para rehacer sus experimentos. A veces eso funcionó, dijo Errington, pero a menudo los laboratorios no recordaban cómo habían hecho el trabajo. Esto obligó a que el equipo tuviera que renunciar a reproducir algunos experimentos, quedándose con 50 de esos 193.

Alrededor de un tercio de las veces, Errington dijo que los científicos no proporcionaron detalles o datos adicionales, o simplemente nunca respondieron. Al recordar el proyecto, Errington dijo que hubo muchos errores de comunicación, correos electrónicos perdidos y largas búsquedas de datos. “Ha sido agotador. Nunca pensamos que nos llevaría tanto tiempo. Nos ha costado mucho más de lo que pensábamos”.

Estos problemas de comunicación afectaron la reproducción del experimento de Butte, aunque al final lograron hacerlo pero, como ocurrió con la mayoría de las reproducciones, encontraron un tamaño de efecto menor. Además, al igual que en muchos de los experimentos para reproducir resultados, el equipo tuvo que cambiar algunos de los métodos, incluyendo el método estadístico para analizar los datos. Cuando se publicó el documento sobre la reproducción del experimento, Butte se sintió sorprendido por los cambios.

“Eligieron una prueba estadística adicional que nosotros no hicimos”, dijo Butte. “Un estadístico independiente, Robert Tibshirani, uno de los mejores del mundo, comentó que el proceso era incorrecto. Busqué las credenciales de todos los autores [de la reproducción] y no había ni un solo bioestadístico en su equipo”, añadió. “¿Es esto reproducibilidad?”

Pero según Errington, revisores independientes aprobaron las modificaciones a los protocolos antes de reproducir el experimento, dijo. También consultaron los métodos estadísticos con científicos cuantitativos independientes, a través del proceso de revisión por pares de la revista eLife. Aun así, reconoció que es posible que cualquier modificación haya alterado los resultados de la reproducción de los experimentos.

“La biología humana es muy complicada. No somos perfectos, y es realmente complicado”, dijo. “Ninguna de estas reproducciones invalida o valida la ciencia original. Puede que el estudio original sea erróneo, un falso positivo o una falsa señal. También puede ocurrir lo contrario y que la reproducción esté equivocada. Lo más probable es que ambas cosas sean ciertas, y que algún pequeño detalle en la forma de hacer el experimento sea la causa de la diferencia”.

Butte estuvo de acuerdo y añadió que reproducir los procedimientos, como la que intenta el Centro para la Ciencia Abierta, es importante. Y, en parte, es gracias a los esfuerzos del Centro para la Ciencia Abierta, que las revistas académicas han avanzado en evitar que se repitan los problemas de reproducibilidad, dijo Butte. Por ejemplo, como ahora los artículos científicos se publican en línea, editoriales como Science y Nature permiten que los investigadores incluyan métodos y datos más detallados en largos archivos suplementarios, lo que soluciona una antigua limitación de los estudios de reproducibilidad. Recientemente, la Asociación Americana para la Investigación del Cáncer anunció que las secciones de métodos ya no se incluirán en el número de palabras autorizadas de los artículos, por lo que los investigadores pueden explicar sus protocolos en detalle.

“Ha habido muchos cambios en los últimos cinco años. Creo que hay que reconocerle el mérito [al Centro de Ciencia Abierta]”, dijo Butte. “Hay muchos aspectos positivos”. Pero añadió que no son todos. Reproducir la investigación paso a paso, perfectamente idéntica, sólo puede decir si un experimento puede hacerse de nuevo, no si las conclusiones originales son realmente sólidas, dijo Butte. Butte dijo que sería mejor tener a 100 científicos diferentes probando la misma idea con 100 modelos diferentes -desde primates hasta células en placas de Petri- y ver en qué se ponen de acuerdo. “Quiero ver el 60% que tienen en común todos nuestros experimentos, ¿no?”, dijo. “Esta es la verdadera reproducibilidad que deberíamos lograr”.