Salud y Fármacos is an international non-profit organization that promotes access and the appropriate use of pharmaceuticals among the Spanish-speaking population.

Ferramentas Úteis

Como melhorar as revisões sistemáticas

Salud y Fármacos
Boletín Fármacos: Ética y Derecho 2023; 26(3)

Tags: metodologia de pesquisa, qualidade das revisões sistemáticas, treinamento em metodologia de pesquisa, qualidade das guias clínicas, Ioannidis

A equipe de Ioannidis publicou um artigo interessante no Clinical Journal of Epidemiology [1] criticando a qualidade das revisões sistemáticas e oferecendo recursos para melhorá-las. Trata-se de um artigo muito técnico que deve ser lido por todos aqueles que realizam revisões sistemáticas ou usam seus resultados. A seguir, resumimos apenas os primeiros parágrafos.

O artigo começa afirmando que um número cada vez maior de revisões sistemáticas está influenciando a prática clínica, às vezes de forma extremamente útil e, muitas vezes, de forma errônea e enganosa [2]. Vários estudos empíricos levantaram suspeitas ou forneceram evidências de que muitas dessas revisões são falhas, incluindo uma revisão sistemática de 485 estudos publicada no Journal of Clinical Epidemiology [3].

De acordo com os autores, isso se deve ao fato de que muitos dos que realizam revisões sistemáticas têm pouca experiência e treinamento em metodologia. As revisões sistemáticas são vistas como uma maneira fácil de serem publicadas em revistas de prestígio, e os supervisores acadêmicos podem adicionar sua autoria sênior sem fazer muito, ou podem nem mesmo estar cientes das expectativas atuais para revisões sistemáticas.

Os revisores por pares de revisões sistemáticas não conseguem fazer melhorias significativas devido à falta de conhecimento, tempo ou recursos. Ao mesmo tempo, alguns vão para o outro extremo e afirmam que as revisões sistemáticas são um desperdício de recursos e/ou que são quase sempre inconclusivas. É verdade que as revisões sistemáticas, mesmo quando feitas por organizações mais rigorosas, são, em sua maioria, inconclusivas [4], mas isso reflete as evidências disponíveis, não o processo de revisão.

Dada a inegável influência das revisões sistemáticas na literatura científica e na prática clínica, devem ser feitos esforços para melhorar a qualidade das revisões. Muitos grupos tentaram fazer isso, o que resultou em muitas diretrizes, ferramentas de avaliação e listas de verificação [5, 6], algumas das quais foram atualizadas (por exemplo, AMSTAR-2 [7] (atualização da AMSTAR [A Measurement Tool to Assess Systematic Reviews]) e PRISMA 2020 [8] (atualização dos Preferred Reporting Items for Systematic Reviews and Meta-Analyses]) e, a julgar pela frequência com que são citadas em revisões publicadas, sua adoção pelos autores parece ser generalizada. No entanto, isso pode refletir que os autores dizem o que as revistas em que querem publicar solicitam, ou imitam o que os outros fazem (“outros também citam essas ferramentas”) ou algum esforço superficial para fazer com que a revisão sistemática pareça mais “científica”.

De acordo com os autores deste artigo [1], essas ferramentas e diretrizes são frequentemente ignoradas, ou mal utilizadas e mal interpretadas. A incompreensão dessas ferramentas pode levar ao mau uso e à má interpretação. É importante especificar o que cada ferramenta pode (e não pode) fazer e como ela deve (ou não deve) ser usada. É essencial distinguir os construtos que essas ferramentas podem avaliar (ou seja, integridade dos relatórios, risco de viés, rigor metodológico). O uso adequado dessas ferramentas também envolve a compreensão das unidades de análise às quais elas se aplicam e como (por exemplo, pesquisa primária versus secundária). Além disso, a avaliação da certeza geral das evidências incluídas em uma revisão sistemática envolve muitos conceitos e processos básicos [9].

Mesmo quando essas ferramentas são aparentemente usadas de forma adequada, a integridade de sua aplicação pode não ser muito alta. Espera-se que o uso dos padrões de relatório PRISMA melhore a integridade dos relatórios. Entretanto, os estudos empíricos realizados até o momento não mostram melhorias claras nesse sentido [10,11]. Uma possível explicação é que, embora muitas revistas afirmem exigir o PRISMA, a precisão das informações apresentadas nas listas de verificação enviadas pelos autores de uma revisão sistemática não é necessariamente verificada. Também seria de se esperar que as revisões sistemáticas recentes que atendem aos padrões AMSTAR-2 [6] e ROBIS (Risk of Bias in Systematic Reviews) [12] demonstrassem maior rigor metodológico e menor risco de viés, respectivamente. Isso ainda não foi investigado.

Estudos recentes sugerem que erros e inconsistências na extração de dados são comuns na aplicação dessas ferramentas [13]. Além disso, a interpretação de itens individuais, bem como os cálculos dos escores gerais, podem ser mais variáveis do que o esperado [14,15]. As metapesquisas sobre essas ferramentas também identificaram que há certos aspectos que deveriam ser incluídos na revisão e que não estão sendo abordados [14,16].

O volume e a variedade de ferramentas atualmente disponíveis e sua crescente complexidade indicam que as pessoas que realizam, avaliam e usam revisões sistemáticas precisam de mais treinamento. Os autores deste artigo [1] usaram uma abordagem pragmática para desenvolver um guia recentemente publicado sobre as melhores ferramentas e práticas em revisões sistemáticas [17]. Eles se concentraram nas lacunas de conhecimento sugeridas pelos problemas das revisões sistemáticas bem feitas. Esse Guia Conciso [17], por exemplo, resume as ferramentas atualmente recomendadas quanto à sua aplicabilidade a vários tipos de síntese de evidências e as distingue pelos construtos que foram projetados para avaliar.

Referências

  1. Kolaski, K., Logan, L.R., & Ioannidis, J.P.A. (2023, May 15). Improving systematic reviews: Guidance on guidance and other options and challenges. Journal of clinical epidemiology. https://doi.org/10.1016/j.jclinepi.2023.05.008
  2. Ioannidis J.P.A.: The mass production of redundant, misleading, and conflicted systematic reviews and meta-analyses. Milbank Q 2016; 94: pp. 485-514.
  3. Uttley L., Quintana D., Montgomery P., Carroll C., Page M.J., Falzon L., et. al.: The problems with systematic reviews: a living systematic review. J Clin Epidemiol 2023; 156: pp. 30-41
  4. Howick J., Koletsi D., Ioannidis J.P.A., Madigan C., Pandis N., Loef M., et. al.: Most healthcare interventions tested in Cochrane Reviews are not effective according to high quality evidence: a systematic review and meta-analysis. J Clin Epidemiol 2022; 148: pp. 160-169.
  5. Gates M., Gates A., Guitard S., Pollock M., Hartling L.: Guidance for overviews of reviews continues to accumulate, but important challenges remain: a scoping review. Syst Rev 2020; 9: pp. 1-19.
  6. Page M.J., McKenzie J.E., Higgins J.P.T.: Tools for assessing risk of reporting biases in studies and syntheses of studies: a systematic review. BMJ Open 2018; 8: pp. 1-16.
  7. Shea B.J., Reeves B.C., Wells G., Thuku M., Hamel C., Moran J., et. al.: Amstar 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ 2017; 358:
  8. Page M.J., McKenzie J.E., Bossuyt P.M., Boutron I., Hoffmann T.C., Mulrow C.D., et. al.: The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ 2021; 372:
  9. Hultcrantz M., Rind D., Akl E.A., Treweek S., Mustafa R.A., Iorio A., et. al.: The GRADE Working Group clarifies the construct of certainty of evidence. J Clin Epidemiol 2017; 87: pp. 4-13.
  10. Page M.J., Moher D.: Evaluations of the uptake and impact of the preferred reporting items for systematic reviews and meta-analyses (PRISMA) statement and extensions: a scoping review. Syst Rev 2017; 6: pp. 1-14.
  11. Nguyen P.-Y., Kanukula R., McKensie J., Alqaid Z., Brennan S.E., Haddaway N., et. al.: Changing patterns in reporting and sharing of review data in systematic reviews with meta-analysis of the effects of interventions: a meta-research study. BMJ 2022; 22: pp. 379.
  12. Whiting P., Savović J., Higgins J.P.T., Caldwell D.M., Reeves B.C., Shea B., et. al.: ROBIS: a new tool to assess risk of bias in systematic reviews was developed. J Clin Epidemiol 2016; 69: pp. 225-234.
  13. Gates M., Gates A., Duarte G., Cary M., Becker M., Prediger B., et. al.: Quality and risk of bias appraisals of systematic reviews are inconsistent across reviewers and centers. J Clin Epidemiol 2020; 125: pp. 9-15.
  14. Perry R., Whitmarsh A., Leach V., Davies P.: A comparison of two assessment tools used in overviews of systematic reviews: ROBIS versus AMSTAR-2. Syst Rev 2021; 10: pp. 273-293.
  15. Pieper D., Lorenz R.C., Rombey T., Jacobs A., Rissling O., Freitag S., et. al.: Authors should clearly report how they derived the overall rating when applying AMSTAR 2—a cross-sectional study. J Clin Epidemiol [Internet] 2021; 129: pp. 97-103.
  16. Swierz M.J., Storman D., Zajac J., Koperny M., Weglarz P., Staskiewicz W., et. al.: Similarities, reliability and gaps in assessing the quality of conduct of systematic reviews using AMSTAR-2 and ROBIS: systematic survey of nutrition reviews. BMC Med Res Methodol 2021; 21: pp. 1-10.
  17. Kolaski K., Logan L.R., Ioannidis J.P.A.: Guidance to best tools and practices in systematic reviews. JBI Evid Synth 2023; 21: pp. 1-34.
creado el 26 de Octubre de 2023