Muchos creen que hay algo sagrado en el proceso que siguen las revistas para que los manuscritos sean revisados por pares. Un artículo reflexivo de una investigación rigurosa se envía a los principales expertos, quienes lo leen atentamente y brindan comentarios imparciales. El proceso se lleva a cabo con honor y en un tiempo apropiado.

Suena bien, pero la mayoría de las veces no es lo que sucede.

He experimentado el proceso de revisión por pares desde la perspectiva de autor, revisor y editor. Es un proceso enormemente desafiante e impredecible.

Vamos a empezar con los autores. Si los autores son conscientes de las fortalezas y debilidades de su manuscrito, no escribirán el documento de manera desapasionada. En cambio, estará diseñado para su publicación en una revista específica. Los autores diseñan y dirigen su artículo a la revista con la mayor probabilidad de estar receptiva a su contenido y mensaje. Los autores saben emparejar muy bien el tema del artículo con la revista apropiada, y también son buenos vendedores. En su carta de presentación, a menudo venden el artículo a los editores.

Los editores reciben una enorme cantidad de artículos. Las principales revistas reciben docenas de manuscritos cada día. Los editores realizan una revisión inicial y rechazan muchos artículos, electrónicamente, en un instante. Más de la mitad de los artículos que se someten a las revistas no sobreviven al proceso de selección. Se notifican las malas noticias rápidamente a los autores, pero no reciben comentarios. Muchos autores relativamente desconocidos creen que este proceso es una forma de deshacerse de ellos.

Si el documento supera el obstáculo inicial, el editor lo envía a “revisión por pares”, es decir expertos externos. ¿Pero quiénes son estos compañeros? Es casi imposible encontrar expertos que estén bien informados y sean perspicaces, y que también estén dispuestos a tomarse el tiempo para hacer una revisión exhaustiva y reflexiva. Las luminarias generalmente rechazan la mayoría de las invitaciones para revisar manuscritos. Sus apretadas agendas no les permiten hacer un buen trabajo, y muchos creen que no merece la pena invertir su tiempo y esfuerzo en un trabajo que les reditúa tan poco.

En una experiencia reciente como editor, sugerí cuatro expertos bien conocidos como revisores, pero ninguno aceptó. Luego propuse cuatro investigadores diferentes y uno aceptó. Después de tres rondas de sugerencias, finalmente encontré a dos o tres personas que estuvieron de acuerdo en hacer la revisión.

Los editores exitosos han identificado un grupo central de personas que están dispuestas a hacer revisiones regularmente, pero, lamentablemente, el tamaño del grupo no es muy grande. Con demasiada frecuencia, los editores dependen en gran medida de investigadores que inician o están en medio de su carrera, que están ansiosos por ganarse el favor de la revista, con la esperanza de ganar puntos que les puedan ser útiles cuando más adelante envíen su propio trabajo.

Estos investigadores de principio o a mediados de su carrera ¿hacen un trabajo decente? Muchos de ellos son excelentes, pero en demasiadas circunstancias, el joven crítico simplemente no conoce bien el campo o puede que no esté familiarizado con los métodos apropiados. Leen el artículo como novatos, y se nota su falta de experiencia.

Cuando actúo como revisor, me envían copias de los comentarios de las otras personas que evaluaron el documento. En una proporción alarmantemente alta de casos, me sorprende la mala calidad de las críticas. Algunos revisores no parecen invertir un mínimo de tiempo en revisar el manuscrito. Muchos envían respuestas predecibles, que no proporcionan ninguna crítica o comentario útil. Muchos revisores pasan por alto deficiencias importantes y obvias, mientras que otros acribillan el documento con comentarios impertinentes. Incluso para un solo revisor, el rigor del proceso de evaluación no es consistente, probablemente porque el tiempo que pueden pasar varía según su calendario.

Al final, la revisión está sujeta a la suerte, es una lotería, y el editor se encuentra con revisiones que varían enormemente en calidad. Si las evaluaciones son claramente deficientes, se ignoran. Algunos prometen una revisión, pero no cumplen. Otros envían comentarios privados al editor, pero ninguno a los autores. Si el editor es afortunado, al menos un revisor hace realmente una buena revisión.

¿La parte que es realmente sorprendente? Por lo general, los revisores realizan su evaluación sin ninguna capacidad de saber si los autores describieron con precisión sus métodos o sus datos. A menudo, los críticos actúan como los jueces en un concurso de belleza. Saben qué se ve bien, pero a veces, pueden preguntarse si es real.

Como autor, a menudo me sorprenden las críticas que recibo. Muchos críticos parecen no haberse tomado el tiempo para leer el documento. Algunos ofrecen ideas tangenciales que tienen poco que ver con el manuscrito, probablemente para mostrar que pensaron en el tema. Otros insisten en que se cite su propio trabajo. (La naturaleza egoísta de algunos comentarios puede ser espantosa). A menudo, no puedo determinar cómo los pobres editores tomaron alguna vez una decisión informada.

Sin embargo, si la revista ha expresado interés en el documento, los autores ahora deben revisar el manuscrito y escribir una carta que responda a los comentarios de los revisores. Independientemente de la estupidez de cualquier comentario individual, los autores deben respetuosamente (con frecuencia con reverencia) abrazar cada frase del evaluador y agradecer al revisor por ello. Con demasiada frecuencia, en su afán por complacer a los revisores, los autores revisan el documento y lo empeoran.

Una vez que termina todo el proceso, los autores pueden recibir una carta de aceptación. Esta carta les ofrece la oportunidad de publicar el artículo, pero a menudo, solo si pagan una tarifa (incluso en las revistas mejor clasificadas). Y cuando el documento finalmente aparece en línea o impreso, los autores tienen el privilegio de ver que su trabajo es ignorado.

¿Suena esto como un juego ridículo? Lo es.

Como en la película de 1983 “WarGames”, es un “juego extraño”, en el que “la única forma de ganar es si no se juega”.

¿Cree que exagero? ¿Cree que no es un juego?

Los editores de revistas británicos no se refieren a aquellos que proporcionan comentarios externos como “revisores”. Los llaman “árbitros”. En EE UU, el término “árbitro” se utiliza para identificar a las personas que observan un juego de cerca para garantizar que se cumplen las reglas. Pero cuando actúo como crítico, no me considero un árbitro. Los árbitros no tienen permitido celebrar públicamente una gran jugada o gemir cuando un jugador se equivoca. El proceso de revisión por pares puede (y se supone que debe) hacer estas cosas.

Me encanta escribir artículos. Adoro mirar los datos, investigar la literatura y trabajar con becarios y profesores jóvenes. Me encanta cuando descubro nuevas formas de sintetizar y presentar un concepto. Y estoy realmente encantado cuando mi trabajo es aceptado. Pero dado todo lo que acabo de escribir en este ensayo, claramente disfruto cuando me castigan.

El proceso de revisión por pares está horriblemente estropeado. Mi querido amigo Harlan Krumholz, MD, de la Universidad de Yale, ha escrito sobre esto durante años. En un artículo famoso (“The End of Journals”), argumentó que las revistas son demasiado lentas, demasiado caras, demasiado limitadas, poco fiables, demasiado parroquiales y demasiado estáticas.

En su esfuerzo por forjar una solución, Harlan ha sido el principal defensor de los servidores de preimpresión, una plataforma que permite que los autores publiquen una versión de un artículo académico antes de la revisión por pares. La idea tiene un mérito real, y cada vez hay más gente que se adhiere al concepto.

Si piensa que la revisión por pares es un juego, entonces el servidor de preimpresión es fácil de entender. Si le gusta el fútbol o el béisbol, piense en ello como una “repetición instantánea”. Puede ver el artículo de forma inmediata y repetida en su estado original desde todos los ángulos posibles. Pero en el caso de los servidores de preimpresión, la “reproducción instantánea” ocurre antes de que haya empezado el juego.

¿Lo ha entendido? La revisión por pares es un juego, con un montón de talento y abundancia de oportunidades. Entonces, ¿ siente que hoy ha tenido suerte?

Packer ha sido consultor de Actavis, Akcea, Amgen, AstraZeneca, Boehringer Ingelheim, Cardiorentis, Daiichi Sankyo, Gilead, J&J, Novo Nordisk, Pfizer, Sanofi, Synthetic Biologics, and Takeda. Preside el Comité Ejecutivo Emperor para ensayos clínicos de empagliflozin para el tratamiento de la insuficiencia cardiaca. Antes, fue co-investigador principal de ensayo clínico PARADIGM-HF y forma parte del Comité Directivo del ensayo PARAGON-HF, pero no tiene ninguna relación financiera con Novartis.