Salud y Fármacos is an international non-profit organization that promotes access and the appropriate use of pharmaceuticals among the Spanish-speaking population.

Gestión de los Ensayos Clínicos, Metodología, Costos y Conflictos de Interés

Cómo mejorar las revisiones sistemáticas

Salud y Fármacos
Boletín Fármacos: Ensayos Clínicos 2023; 26(4)

Tags: metodología de la investigación, calidad de las revisiones sistemáticas, formación en metodología de la investigación, calidad de las guías clínicas, Ioannidis

El equipo de Ioannidis ha publicado un interesante artículo en el Clinical Journal of Epidemiology [1] criticando la calidad de las revisiones sistemáticas y ofreciendo recursos para mejorarlas. Se trata de un artículo muy técnico que deberían leer todos los que hacen revisiones sistemáticas o utilizan sus resultados. A continuación, solo resumimos los primeros párrafos.

El artículo empieza diciendo que cada vez se hacen más revisiones sistemáticas que influyen en la práctica clínica, en ocasiones de forma extremadamente útil y a menudo de forma errónea y engañosa [2]. Múltiples estudios empíricos han levantado sospechas o aportado evidencia de que muchas de estas revisiones son deficientes, incluyendo una revisión sistemática de 485 estudios publicada en el Journal of Clinical Epidemiology [3].

Según los autores, esto se debe a que muchos de los que hacen revisiones sistemáticas tienen poca experiencia y formación en metodología. Las revisiones sistemáticas se consideran una forma fácil de conseguir publicaciones en revistas de prestigio, y los supervisores académicos pueden añadir su autoría senior sin hacer gran cosa, o puede que ni siquiera sean conscientes de las expectativas actuales para las revisiones sistemáticas.

Los que realizan la revisión por pares de las revisiones sistemáticas no pueden hacer mejoras significativas por falta de conocimiento, tiempo o recursos. A la vez, algunos se pasan al otro extremo y afirman que las revisiones sistemáticas son un despilfarro de recursos y/o que casi siempre no son concluyentes. Es cierto que las revisiones sistemáticas, incluso cuando las hacen organizaciones más rigurosas, son en su mayoría no concluyentes [4], pero esto refleja la evidencia disponible, no el proceso de revisión.

Dada la innegable influencia de las revisiones sistemáticas en la literatura científica y en la práctica clínica, hay que hacer esfuerzos por mejorar la calidad de las revisiones. Muchos grupos han tratado de hacerlo, lo que ha dado lugar a muchas guías, herramientas de evaluación y listas de verificación [5, 6], algunas de las cuales han sido actualizadas (por ejemplo, AMSTAR-2 [7] (actualización de AMSTAR [A Measurement Tool to Assess Systematic Reviews]) y PRISMA 2020 [8] [actualización de Preferred Reporting Items for Systematic Reviews and Meta-Analyses]) y, a juzgar por la frecuencia con que se citan en las revisiones publicadas, su adopción por parte de los autores parece estar muy extendida. Sin embargo, esto podría reflejar que los autores dicen lo que solicitan las revistas en las que quieren publicar, o imitan lo que hacen otros (“otros también citan estas herramientas”) o algún esfuerzo superficial para hacer que la revisión sistemática parezca más “científica”.

Según los autores de este articulo [1], es frecuente que estas herramientas y guías sean ignoradas, o mal utilizadas e interpretadas. La mala comprensión de estas herramientas puede hacer que se utilicen mal y se hagan interpretaciones erróneas. Es importante especificar qué puede hacer (y qué no puede hacer) cada herramienta y cómo se debe (o no se debe) utilizar. Es esencial distinguir los constructos que estas herramientas pueden evaluar (es decir, exhaustividad de los informes, riesgo de sesgo, rigor metodológico). El uso adecuado de estas herramientas también implica comprender a que unidades de análisis se aplican y cómo (p. ej., investigación primaria frente a secundaria). Además, la evaluación de la certeza general de la evidencia que se incluye en una revisión sistemática implica muchos conceptos y procesos básicos [9].

Incluso cuando estas herramientas se utilizan aparentemente de forma adecuada, la integridad de su aplicación puede no ser muy alta. Se espera que el uso de las normas de presentación de informes PRISMA mejore la exhaustividad de los informes. Sin embargo, los estudios empíricos realizados hasta la fecha no muestran mejoras claras en este sentido [10,11]. Una posible explicación es que, aunque muchas revistas dicen que exigen PRISMA, no se verifica necesariamente la exactitud de la información presentada en las listas de verificación que envían los autores de una revisión sistemática. También cabría esperar que las revisiones sistemáticas recientes que cumplen las normas de AMSTAR-2 [6] y ROBIS (Risk of Bias in Systematic Reviews) [12] demostraran un mayor rigor metodológico y un menor riesgo de sesgo, respectivamente. Esto aún no se ha investigado.

Estudios recientes sugieren que es frecuente que al aplicar estas herramientas se cometan errores de extracción de datos y haya inconsistencias [13]. Además, la interpretación de los ítems individuales, así como los cálculos de las puntuaciones globales, podría ser más variable de lo esperado [14,15]. La metainvestigación sobre estas herramientas también ha identificado que hay ciertos aspectos que se deberían incluir en la revisión que no se están abordando [14,16].

El volumen y la variedad de las herramientas actualmente disponibles, y su creciente complejidad, indican que los que realizan, evalúan y utilizan las revisiones sistemáticas necesitan más formación. Los autores de este artículo [1] utilizaron un enfoque pragmático para elaborar una guía que se publicó recientemente sobre las mejores herramientas y prácticas en las revisiones sistemáticas [17]. Se centraron en las lagunas de conocimiento sugeridas por los problemas de las revisiones sistemáticas que están bien hechas. Esta Guía Concisa [17], por ejemplo, resume las herramientas actualmente recomendadas por su aplicabilidad a varios tipos de síntesis de pruebas y las distingue por los constructos que fueron diseñadas para evaluar.

Referencias

  1. Kolaski, K., Logan, L.R., & Ioannidis, J.P.A. (2023, May 15). Improving systematic reviews: Guidance on guidance and other options and challenges. Journal of clinical epidemiology. https://doi.org/10.1016/j.jclinepi.2023.05.008
  2. Ioannidis J.P.A.: The mass production of redundant, misleading, and conflicted systematic reviews and meta-analyses. Milbank Q 2016; 94: pp. 485-514.
  3. Uttley L., Quintana D., Montgomery P., Carroll C., Page M.J., Falzon L., et. al.: The problems with systematic reviews: a living systematic review. J Clin Epidemiol 2023; 156: pp. 30-41
  4. Howick J., Koletsi D., Ioannidis J.P.A., Madigan C., Pandis N., Loef M., et. al.: Most healthcare interventions tested in Cochrane Reviews are not effective according to high quality evidence: a systematic review and meta-analysis. J Clin Epidemiol 2022; 148: pp. 160-169.
  5. Gates M., Gates A., Guitard S., Pollock M., Hartling L.: Guidance for overviews of reviews continues to accumulate, but important challenges remain: a scoping review. Syst Rev 2020; 9: pp. 1-19.
  6. Page M.J., McKenzie J.E., Higgins J.P.T.: Tools for assessing risk of reporting biases in studies and syntheses of studies: a systematic review. BMJ Open 2018; 8: pp. 1-16.
  7. Shea B.J., Reeves B.C., Wells G., Thuku M., Hamel C., Moran J., et. al.: Amstar 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ 2017; 358:
  8. Page M.J., McKenzie J.E., Bossuyt P.M., Boutron I., Hoffmann T.C., Mulrow C.D., et. al.: The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ 2021; 372:
  9. Hultcrantz M., Rind D., Akl E.A., Treweek S., Mustafa R.A., Iorio A., et. al.: The GRADE Working Group clarifies the construct of certainty of evidence. J Clin Epidemiol 2017; 87: pp. 4-13.
  10. Page M.J., Moher D.: Evaluations of the uptake and impact of the preferred reporting items for systematic reviews and meta-analyses (PRISMA) statement and extensions: a scoping review. Syst Rev 2017; 6: pp. 1-14.
  11. Nguyen P.-Y., Kanukula R., McKensie J., Alqaid Z., Brennan S.E., Haddaway N., et. al.: Changing patterns in reporting and sharing of review data in systematic reviews with meta-analysis of the effects of interventions: a meta-research study. BMJ 2022; 22: pp. 379.
  12. Whiting P., Savović J., Higgins J.P.T., Caldwell D.M., Reeves B.C., Shea B., et. al.: ROBIS: a new tool to assess risk of bias in systematic reviews was developed. J Clin Epidemiol 2016; 69: pp. 225-234.
  13. Gates M., Gates A., Duarte G., Cary M., Becker M., Prediger B., et. al.: Quality and risk of bias appraisals of systematic reviews are inconsistent across reviewers and centers. J Clin Epidemiol 2020; 125: pp. 9-15.
  14. Perry R., Whitmarsh A., Leach V., Davies P.: A comparison of two assessment tools used in overviews of systematic reviews: ROBIS versus AMSTAR-2. Syst Rev 2021; 10: pp. 273-293.
  15. Pieper D., Lorenz R.C., Rombey T., Jacobs A., Rissling O., Freitag S., et. al.: Authors should clearly report how they derived the overall rating when applying AMSTAR 2—a cross-sectional study. J Clin Epidemiol [Internet] 2021; 129: pp. 97-103.
  16. Swierz M.J., Storman D., Zajac J., Koperny M., Weglarz P., Staskiewicz W., et. al.: Similarities, reliability and gaps in assessing the quality of conduct of systematic reviews using AMSTAR-2 and ROBIS: systematic survey of nutrition reviews. BMC Med Res Methodol 2021; 21: pp. 1-10.
  17. Kolaski K., Logan L.R., Ioannidis J.P.A.: Guidance to best tools and practices in systematic reviews. JBI Evid Synth 2023; 21: pp. 1-34.
creado el 11 de Diciembre de 2023