As revisões sistemáticas são consideradas por muitos por constituírem o nível mais alto de evidência científica. Uma ressalva é que os métodos usados em uma revisão sistemática – agrupando informações de múltiplas pesquisas são baseados na confiabilidade de todos os relatórios. Atualmente, não sabemos qual é a frequência de estudos fraudulentos em revisões sistemáticas ou como eles influenciam a base de evidências resultantes.
Para uma revisão sistemática de estudos pré-clínico em depressão, descobrimos que estudos potencialmente fraudulentos não eram somente comuns, mas também influenciavam os resultados da revisão. Em uma amostra de 1.035 estudos, constatamos que 19% dos relatórios revisados por pares exibiam dados na forma de imagens problemáticas. Na maioria dos casos, as imagens foram alteradas ou reaproveitadas de uma forma que nos faz suspeitar de jogo sujo.
Para piorar a situação, esses estudos relataram dimensões de efeito superiores, em média, do que os estudos em que não identificamos problemas. Ao contrário do que se acredita comumente, os relatórios com imagens problemáticas não foram menos citados ou publicados em periódicos de menor impacto, nem seus autores foram isolados em uma local geográfico específico.
A prevalência absoluta de estudos problemáticos e o fato de não termos conseguido encontrar um padrão fácil para identificá-los prejudicam a validade das revisões sistemáticas em nosso campo de pesquisa. Suspeitamos que isso seja um sintoma de um problema mais extenso que precisa ser abordado imediatamente.