John P.A. Ioannidis, en 2016, publicó un artículo en Milkbank Quarterly que nos parece que sigue siendo actual e importante. Lo resumimos a continuación.

Las revisiones sistemáticas y los metaanálisis son herramientas clave para la medicina basada en la evidencia. Los metaanálisis pueden ser prospectivos o retrospectivos. En el mundo ideal, deberían ser iniciativas de investigación, donde los expertos trabajan de forma colaborativa, en consorcios, y diferentes equipos replican resultados y analizan conjuntamente los datos. Pero, hasta ahora, esto solo ha sido posible en el consorcio que realiza metaanálisis prospectivos de estudios de genoma. En los otros campos no hay incentivos que estimulen la colaboración.

En el campo de la medicina, la mayoría de los metaanálisis y revisiones sistemáticas son análisis retrospectivos que tratan de resumir información fragmentada y afectada por los sesgos de publicación. A pesar de esto, pueden aportar valor, y una vez se completa un estudio puede ser importante seguir acumulando evidencia. El problema, es que muchos, posiblemente la gran mayoría de las revisiones sistemáticas y metaanálisis que se producen no son útiles, y en lugar de clarificar la evidencia son redundantes, ofrecen poco valor, desinforman y responden a intereses particulares, incluyendo el marketing.

Entre los artículos disponibles en Pubmed que se publicaron entre el uno de enero de 1986 y el 4 de diciembre de 2015 figuran 266.782 revisiones sistemáticas y 58.611 metaanálisis. El número de revisiones sistemáticas que se han publicado creció en un 2.728% entre 1991 y 2014, y el de metaanálisis en un 2.635% durante el mismo periodo; a modo de contraste, el crecimiento en el número de publicaciones indexadas en Pubmed creció en un 153%.

La mayoría de los estudios biomédicos no son ni innovadores, ni idénticos a investigaciones anteriores, solo una proporción muy pequeña son verdaderamente innovadores. Por lo que, aunque hay mucha repetición, no siempre se sabe que estudios pueden agruparse en una revisión sistemática sin arriesgarse a hacer selección subjetiva.

Se pensaría que debe ser más difícil hacer ensayos clínicos aleatorizados que sean tan diferentes entre sí que no se puedan agrupar en una revisión sistemática y en un metaanálisis, incluso los ensayos que se hacen en animales. Sin embargo, cuando se ha intentado, se ha llegado a la conclusión de que la investigación en animales no es confiable, no porque no pueda informar sobre las enfermedades en humanos, sino porque son ensayos de baja calidad, y hay muchos sesgos, incluyendo el sesgo de publicación. Muchas veces la aleatorización y el cegado de los investigadores es inadecuado. Lo ideal sería que, en lugar de seguir haciendo metaanálisis retrospectivos que acentúan los sesgos, se hicieran diseños de metaanálisis prospectivos, que agrupen todos los estudios que se vayan a realizar. Otros estudios preclínicos (por ejemplo, de modelos de cultivos de células, o para encontrar las dianas de los medicamentos) enfrentan los mismos problemas de calidad.

Los metaanálisis de los ensayos clínicos en humanos no arrojan información más alentadora. La Fundación Cochrane se fundó en 1992, estableció estándares de calidad para sus revisiones sistemáticas y metaanálisis superiores a los que utilizan otros grupos y estimó que para cubrir todos los temas relacionados con medicina y la atención médica bastarían unas 10.000 revisiones. En este momento, para la mayoría de los temas hay más de un metaanálisis. Algo de redundancia podría ser positivo, para ver si todos llegan a los mismos resultados y conclusiones. También se puede argumentar que los autores de un metaanálisis no incluyeron todas las medidas de impacto de interés, por lo que se justificaría hacer otros, pero los estudios empíricos han documentado que solo un 23% de los metaanálisis subsecuentes incluyeron a uno o más autores del metaanálisis original, y el 65% de los metaanálisis subsecuentes no incluyeron ninguna medida de impacto adicional.

La práctica de publicar los resultados de un mismo metaanálisis en artículos separados genera confusión. Para tomar decisiones hay que tener acceso a toda la información, beneficios y daños, y lo lógico es que esté disponible en el mismo sitio. Por otra parte, si los resultados de múltiples metaanálisis sobre un mismo tema no coinciden, se genera confusión (ver, por ejemplo, el caso de los antidepresivos), y cuestiona el nivel de subjetividad que ha influido en la toma de decisiones de los investigadores. Cuando la síntesis de la información se hace retrospectivamente, es más fácil dejarse influir por los conflictos de interés, incluyendo el interés del experto en defender una opinión sobre el tema en estudio.

En el caso de los antidepresivos se han hecho 185 metaanálisis, los autores de 54 (29%) de esos eran empleados de la compañía productora del antidepresivo, y 147 (79%) tenían algún tipo de vínculo con la industria. No sabemos cuántos de los autores eran expertos en el tema de los estudios. Según el autor, este es un ejemplo claro de cómo los metaanálisis se convierten en una herramienta de marketing de antidepresivos. Solo el 31% de los metaanálisis incluyeron afirmaciones negativas sobre estos productos en las conclusiones o en el resumen.

Hay dos tipos de metaanálisis que contribuyen especialmente a la multitud de metaanálisis que aportan resultados favorables: los que realizan los empleados de las empresas farmacéuticas agrupando los datos individuales de cada uno de los participantes en los diferentes ensayos; y aquellos cuyos autores han recibido patrocinio de la industria (ya sea para hacer el metaanálisis, u otorgándoles alguna beca de investigación o cualquier otro tipo de patrocinio). Los sesgos que la relación con la industria introduce en la elaboración de los metaanálisis con respecto a los realizados por grupos independientes se ha documentado en el caso de los inhibidores de la neuraminidasa, el reemplazo hormonal en la menopausia y almidón hidroxietilico.

Además, han surgido varias compañías que se dedican a hacer metaanálisis para quien las contrate, predominantemente la industria, incluyendo Mapi Group, Abacus International, Evidera y Precision for Value. Estos metaanálisis no suelen publicarse.

Muchos artículos describen los problemas de calidad de las revisiones sistemáticas y de los metaanálisis, y por eso se ha propuesto que los protocolos se registren públicamente para mejorar la transparencia y quizás también su calidad. Sin embargo, solo una pequeña proporción de las revisiones sistemáticas (10-20%) se han pre-registrado.

Según el autor, el 20% de los metaanálisis tienen problemas que no se pueden solucionar, el 27% son redundantes e innecesarios, 20% no se publican, 17% son decentes y no aportan información útil, 13% son engañosos (muchos son de genética y se han realizado en China) y solo el 3% son decentes y clínicamente útiles.

A pesar de todo, las revisiones sistemáticas y los metaanálisis tienen valor científico. Si se hacen bien, proveen información sobre lo que se conoce, lo que no se sabe y donde hay dudas. Pero todo el sistema tiene que mejorar para poder generar información biomédica de calidad y sintetizarla. En el futuro, los metaanálisis deberían ser prospectivos y los deberían realizar investigadores sin conflictos. La producción de la información de base (los ensayos clínicos), el trabajo en equipo, la replicabilidad y los metaanálisis pueden integrarse de forma vertical, como se hizo con el consorcio del genoma.