El término metaanálisis fue acuñado en 1976 por el estadístico Gene Glass de la Universidad de Colorado en Boulder, quien lo describió como “un análisis de análisis”. Glass, que trabajaba en psicología de la educación, se había sometido a un tratamiento psicoanalítico y pensó que era muy bueno; se sentía molesto con los críticos del psicoanálisis, entre ellos Hans Eysenck, un famoso psicólogo del King´s College de Londres, quien según Glass escogía estudios selectivamente para demostrar que el psicoanálisis no era efectivo, mientras que la terapia conductual sí lo era.

En ese momento, la mayoría de las revisiones de literatura tenían un enfoque narrativo; un científico prominente guiaría al lector a través de su selección de estudios disponibles y al final se sacaban conclusiones. Glass introdujo el concepto de una revisión sistemática, en la que se analiza la literatura utilizando criterios predefinidos de búsqueda y selección. Los trabajos que no cumplan con esos criterios no se incluyen; y de los incluidos se extraen los datos clave. Si el proceso produce suficientes datos cuantitativos razonablemente similares, el revisor puede hacer el metaanálisis real, un análisis combinado en el que se ponderan los tamaños del efecto de los estudios.

Ávido de respuestas
Prácticamente desconocidos hasta la década de 1990, los metaanálisis son cada vez más populares. El año pasado se publicaron más de 11.000, un tercio de ellos por autores de China.

Número total de meta-análisis 1995-2017

Cuando Glass hizo esto para los estudios de psicoanálisis, el resultado confirmó su experiencia personal: es eficaz. “Todos los terapeutas del comportamiento estaban indignados y todos los freudianos dijeron que siempre lo habían sabido”, dice Glass, ahora con 77 años y jubilado. Eysenck no estaba impresionado; llamó a los metaanálisis “un ejercicio de mega tontería” y “un abuso de la integración de la investigación” [1].

Sin embargo, a lo largo de las décadas, el tándem de la revisión sistemática y el metaanálisis se ha aceptado ampliamente como una forma estandarizada y menos sesgada de sopesar la evidencia; ahora sirven para elaborar miles de pautas de tratamiento y políticas sociales. Gran parte del respeto que tienen se debe al trabajo de Cochrane, una organización multinacional con sede en Londres que realiza revisiones sistemáticas de las intervenciones de atención médica y pruebas de diagnóstico, que se publican en la Biblioteca Cochrane. (Cochrane se vio envuelto en una crisis cuando su Junta de Gobierno votó para expulsar a Peter Gøtszche, un miembro prominente). La Colaboración Campbell, con sede en Oslo, produce revisiones similares para las ciencias sociales. Ambos grupos siguen protocolos estrictos e intentan reunir expertos del tema en estudio, por ejemplo, cardiólogos cuando el metaanálisis se trata de un producto para el corazón, siempre acompañados de expertos en metodología.

Hoy en día, los metaanálisis son una industria en crecimiento. Su número ha aumentado de menos de 1000 en el año 2000 a unos 11.000 el año pasado. El aumento fue más pronunciado en China, que ahora representa aproximadamente un tercio de todos los metaanálisis. El investigador John Ioannidis, de la Universidad de Stanford en Palo Alto, California, ha sugerido que los metaanálisis podrían ser tan populares porque se pueden hacer con poco o ningún dinero, se pueden publicar en revistas de alto impacto y se citan con frecuencia [2].

Sin embargo, son menos fidedignas de lo que aparentan, en parte debido a lo que los metodólogos denominan “los muchos grados de libertad del investigador”. “Los científicos tienen que tomar varias decisiones y determinaciones que influyen en el resultado de un metaanálisis”, dice Jos Kleijnen, fundador de la empresa Kleijnen Systematic Reviews en Escrick, Reino Unido. Por ejemplo, pueden incluir o excluir ciertos tipos de estudios, limitar el período de tiempo, incluir solo publicaciones en inglés o artículos revisados por pares, y aplicar criterios de calidad estrictos o menos precisos. “Todas estas decisiones tienen un cierto grado de subjetividad”, dice Kleijnen. “Cualquiera que quiera manipular los resultados tiene infinitas posibilidades de hacerlo”.

Su compañía analizó 7.212 revisiones sistemáticas y concluyó que, excluyendo las revisiones Cochrane, solo el 27% de los metaanálisis tenían un “bajo riesgo de sesgo”. Entre las revisiones Cochrane, el 87% tenían un bajo riesgo de sesgo.

Un buen metaanálisis comienza con criterios claros para la inclusión y exclusión de los estudios, dice el estadístico Robbie van Aert, un investigador que está haciendo su postdoctorado en la Universidad de Tilburg en Holanda. “Si lo hace después de haber recopilado los estudios, puede obtener casi cualquier resultado que desee”. Pero según Van Aert el sesgo puede ocurrir incluso cuando los criterios de inclusión se eligen de antemano; porque los expertos conocen la literatura relevante en un campo y pueden ajustar los criterios de manera consciente o inconsciente para incluir los estudios que les gustan o excluir aquellos de los que desconfían.

El dinero es una fuente potencial de sesgo. Puede que no afecte los resultados reales de los autores, pero parece afectar su entusiasmo cuando sacan sus conclusiones. En 2006, por ejemplo, el Nordic Cochrane Center en Copenhague comparó los metaanálisis sobre la eficacia de los medicamentos de Cochrane, que nunca reciben financiamiento de la industria, con los producidos por otros grupos. Encontró que siete revisiones financiadas por la industria concluían con una recomendación sin reservas del medicamento; y ninguno de los análisis de los mismos fármacos realizados por Cochrane lo hizo [3].

Las revisiones sistemáticas financiadas por la industria también tendieron a ser menos transparentes. Ioannidis descubrió en una revisión de 2016 que los metaanálisis sobre la eficacia de los antidepresivos patrocinados por la industria casi nunca incluían en sus resúmenes los problemas de los medicamentos [4]. “Este es un claro ejemplo de un área donde los metaanálisis están emergiendo como una poderosa herramienta de marketing”, escribió.

Incluso cuando un estudio no está financiado por la industria, los revisores individuales pueden tener conflictos de interés. Las políticas de Cochrane a veces permiten que los investigadores que tienen vínculos financieros con una compañía, como subvenciones, honorarios, o acciones, participen en un metaanálisis de los productos de esa compañía, siempre que la mayoría de los autores de la revisión y el autor principal no tengan dichos conflictos. Las políticas de la mayoría de las revistas para prevenir conflictos de intereses financieros son incluso menos estrictas.

Y a la propia Cochrane ha sido acusada de sesgo. Los críticos dicen que algunos revisores tienen una actitud anti-industria que resulta en evaluaciones excesivamente negativas de medicamentos y vacunas. En una revisión de 2017 sobre el efecto de una nueva generación de medicamentos antivirales contra la hepatitis C, por ejemplo, los autores concluyeron que los medicamentos curaban a los pacientes del virus, pero llamaron a esto un “resultado indirecto”; dijeron que no había evidencia de que los medicamentos alargaran la vida [5].

Los resultados se divulgaron ampliamente, pero algunos clínicos estaban indignados. Los autores dijeron que los estudios tendrían que durar muchos años para mostrar un efecto sobre la supervivencia, y que los ensayos anteriores con medicamentos más antiguos habían demostrado claramente que los pacientes que eliminan el virus viven más tiempo. “Desde mi punto de vista, han sido demasiado estrictos y han exagerado sus conclusiones”, dice Andrew Hill, de la Universidad de Liverpool en Reino Unido. “Debido a este informe, los pacientes con hepatitis C podrían no haber accedido a una terapia que salva vidas”, escribió en el British Medical Journal un grupo llamado The Hepatitis C Coalition [6].

Incluso cuando no hay dinero en juego, los investigadores pueden estar interesados en el resultado de un metaanálisis, por ejemplo, porque pueden esperar confirmar lo que sus propios estudios mostraron anteriormente o porque han respaldado ciertas políticas.

Analice, por ejemplo, la controversia en torno a si en la “lucha contra las lombrices” las campañas masivas de desparasitación de los niños en los países en desarrollo son clínicamente efectivas. Docenas de países endémicos han organizado campañas de desparasitación masiva por recomendación de la OMS. Pero en 2015, un equipo dirigido por David Taylor-Robinson de la Universidad de Liverpool concluyó en una revisión actualizada Cochrane que la desparasitación masiva no mejora el estado nutricional promedio, ni el rendimiento escolar, ni la supervivencia de los niños; tildaron a la creencia en sus impactos positivos de “delirante”. Un año más tarde, un equipo del economista Edward Miguel de la Universidad de California, Berkeley, publicó un metaanálisis que mostró claros beneficios [7]. Para Miguel, quien dice que el estudio de Liverpool observó cosas equivocadas y carecía de poder estadístico, había más en juego que la salud pública: había dirigido varios ensayos de desparasitación masiva y se había convertido en un firme defensor de la política de la OMS.

El psicólogo James Coyne, del University Medical Center Groningen de Holanda, dice que los científicos no deberían participar en los metaanálisis que incluyen su propio trabajo; ha criticado duramente a Cochrane por no tomarse los “conflictos de interés intelectuales” lo suficientemente en serio. “Los metaanálisis se han convertido en una herramienta para académicos con intereses creados”, dice.

Miguel dice que sus propios estudios no deberían descalificarlo. “Deberíamos juzgar el análisis en función de la calidad y debatir en términos científicos”, dice. Pero el editor jefe de la Biblioteca Cochrane, David Tovey, reconoce el problema. Cochrane no prohíbe a los científicos participar en los metaanálisis que incluyen sus propios trabajos, pero no pueden participar en la evaluación de sus ensayos, lo que a veces significa que tienen que abandonar temporalmente la sala, y se debe reconocer el conflicto en el artículo de revisión. “Reconocemos que esto en sí mismo es insuficiente”, dice Tovey. “Vamos a presentar una propuesta más completa. Pero tengo que decir que es un gran desafío”. Encontrar a los autores adecuados para un metaanálisis es difícil cuando se excluye a las personas con más experiencia en un área, explica.

Al igual que otros científicos que realizan metaanálisis, Ferguson y Kilburn han utilizado varios métodos estadísticos para medir el sesgo de publicación y corregirlo. En uno de los casos, graficaron los resultados de todos los estudios en función de su tamaño de muestra. Sin el sesgo de publicación, los resultados se habrían distribuido simétricamente, y el gráfico se vería como un embudo invertido, centrado en la media. Pero no fue así; el gráfico era asimétrico. Para corregir este sesgo, esencialmente agregaron un estudio “faltante” (y supuestamente no publicado) para cada estudio que carecía de una contraparte en el otro lado de la media. Con esa y otras correcciones, se evaporó la evidencia de que los juegos y las películas vuelven a las personas más agresivas, concluyeron en su metanálisis de 2009.

Bushman y Anderson utilizaron un acercamiento diferente: intentaron encontrar todos los estudios no publicados, principalmente preguntando a los autores de los estudios publicados si no habían publicado otros y verificando si las tesis doctorales incluían capítulos no publicadas en revistas científicas. Después incluyeron lo que habían recogido en su metaanálisis. Aplicaron un método estadístico para mostrar que los resultados de los estudios se distribuían de manera uniforme alrededor de la media, lo que les aseguró que habían superado el sesgo de publicación. El vínculo aparente entre los videojuegos y la agresión persistió.

n resultados deseables y de “sobrestimar y sobre publicitar” el efecto, lo que Bushman y Anderson dijeron que era “una señal de alarma”. Muchos otros científicos intervinieron, al igual que los entusiastas de los juegos y los opositores. Ambas partes también llevaron sus resultados a espacios no científicos. El año pasado, Ferguson publicó un libro titulado “Combate moral: por qué la guerra contra los videojuegos violentos está mal [Moral Combat: Why the War on Violent Video Games Is Wrong]”. (El título era de un videojuego: Mortal Kombat). Bushman era miembro del comité del presidente Barack Obama sobre la violencia con armas de fuego, testificó ante el Congreso de EE UU sobre el tema de la violencia juvenil y fue entrevistado frecuentemente en la televisión.

Las cosas se complicaron aún más después de que un tercer investigador se uniera a la refriega en 2016: Joseph Hilgard, psicólogo de la Universidad Estatal de Illinois en Normal. Hilgard, quien estudia los aspectos patológicos de los juegos, incluida la adicción, dice: “Tenía curiosidad: ¿Me persuadiría más uno que otro? Así que traté de encontrar la respuesta mezclando los datos”. (Las preguntas que formuló sobre otro artículo en 2017 provocó a una de las tres retractaciones de artículos de Bushman).

Con dos colegas, Hilgard reexaminó el metaanálisis de Bushman en 2010, aplicando varias técnicas estadísticas novedosas para corregir el sesgo de publicación, incluyendo una desarrollada por Van Aert. En base a esos resultados, concluyeron en un artículo publicado en Psychological Bulletin de 2017 [8] que Bushman y Anderson no habían logrado recopilar todos los estudios no publicados, y que el sesgo de publicación todavía desempeñaba un papel. Después de corregir ese sesgo, la relación entre los juegos violentos y la agresión resultó ser “muy pequeña”, dijeron. Bushman y Anderson rechazan el análisis de Hilgard [9] y respaldan los resultados de su metaanálisis.

Las muchas batallas han enfrentado a Glass, el inventor del metaanálisis. “He llegado a pensar en los metaanálisis como una herramienta para convencer a los indecisos”, dice. “Para darles algo útil”. La psicóloga Hannah Rothstein de Baruch College en la ciudad de Nueva York, una consultora de metaanálisis que colaboró con Bushman en la producción del metaanálisis de 2010, dice que no ha perdido la fe en el método, pero que ha cambiado sus expectativas. “Solíamos hacer los metaanálisis de la forma más objetiva posible. Ahora, tratamos de hacerlos lo más transparentes posible”, dice ella.

“Cualquier persona que no esté de acuerdo con una determinada decisión tendrá que poder rehacerla y ver si eso influye en los resultados”.

Ioannidis está de acuerdo. Los protocolos de revisión sistemática deberían publicarse por adelantado, dice; cada paso analítico y cada toma de decisiones deben ser informadas. “Si se hace esto, uno puede ver exactamente los grados de libertad que pueden ocasionar el sesgo, y tener eso en cuenta para juzgar la credibilidad de los resultados”. En casos controvertidos, agrega, los investigadores rivales deberían hacer juntos un metaanálisis. O incluso mejor, podrían olvidarse de los muchos estudios ya publicados y hacer nuevos estudios, utilizando protocolos estandarizados, y luego realizar un metaanálisis de los resultados, utilizando una metodología acordada y publicada de antemano.

Ese enfoque se adoptó para resolver un debate de larga data sobre si el autocontrol puede agotarse, al igual que los músculos. Investigadores de 23 laboratorios de todo el mundo realizaron el mismo experimento estandarizado y un metaanálisis. Publicado en 2016 [10], mostró que el efecto es cercano a cero, un resultado ahora ampliamente aceptado.

Eso es exactamente lo que Hilgard aboga para resolver el debate sobre la violencia y la agresión en los medios. “No podemos soportar la idea de otro estancamiento de 30 años”, escribió. Rothstein no confía en que esto termine con la controversia, pero al menos haría avanzar la discusión, dice ella. “Aunque no sé si Ferguson y Bushman podrán permanecer juntos en una habitación sin matarse unos a otros”.

Science Fund for Investigative Reporting apoyó este estudio.

Jop de Vrieze es un periodista científico que reside en Ámsterdam.