Resumen
Las políticas de protección de los seres humanos que participan en investigación clínica exigen que, antes de iniciar un ensayo clínico, su valoración riesgo-beneficio sea favorable. Para los ensayos de fase I y II, la evidencia para hacer esa determinación a menudo proviene de los estudios de eficacia preclínica (PCESs). Realizamos una investigación sistemática de los materiales que se incluyen en las solicitudes de revisión ética de los ensayos de fase I y II (folletos o manuales del investigador [IB]) con el objetivo de evaluar el contenido y las propiedades de los PCESs que contienen. Utilizando una muestra de los 109 IB más recientemente aprobados en tres juntas de revisión institucional, también llamados comités de ética en investigación, en facultades de Medicina alemanas entre los años 2010-2016, identificamos 708 PCESs únicos. Luego clasificamos todos los PCESs según como informaban sobre los elementos del estudio que ayudan a valorar las amenazas a su validez, si hacían referencia a informes publicados, y la dirección de sus resultados. En total, los 109 IB informaron sobre 708 PCES. Menos del 5% de los PCESs describieron elementos esenciales para reducir las amenazas a la validez de los estudios, tales como la aleatorización, el cálculo del tamaño de la muestra y la evaluación ciega de los resultados. En la mayoría de los PCESs (89%), no se hizo ninguna referencia a un informe publicado. Solo el 6% de las PCESs informaron resultados que no demostraban ningún efecto. Para la mayoría de los IB (82%), todos los PCESs informaban hallazgos positivos. Nuestros resultados muestran que la mayoría de los IB para los estudios de fase I / II no permitieron evaluar sistemáticamente la fortaleza de los hallazgos preclínicos en que se apoyaban. La muy rara notificación de PCESs que no mostraron ningún efecto genera preocupación sobre su posible diseño o los sesgos de informe. Un diseño e informe de un PCES frustran la evaluación de riesgo-beneficio durante la revisión ética de los estudios de fase I / II.

Resumen del autor
Para que un ensayo clínico sea ético, los organismos reguladores y las juntas de revisión institucional o comités de ética deben juzgar si los beneficios relacionados con el ensayo (aportes al conocimiento) superan los riesgos inherentes al ensayo. Para las primeras fases de investigación en humanos, estas evaluaciones de riesgo-beneficio a menudo se basan en los resultados de los estudios preclínicos en animales que se reportan en los llamados “folletos o manuales del investigador”. Sin embargo, nuestro análisis muestra que la gran mayoría de dichos manuales del investigador carecen de información suficiente para evaluar sistemáticamente la fuerza de los hallazgos preclínicos en que se apoyan. Además, la muy rara notificación de estudios de eficacia preclínica que no demostraron ningún efecto suscita preocupaciones sobre el diseño y / o los sesgos de notificación. Los problemas en el diseño y reporte de los resultados de los estudios preclínicos frustran la evaluación riesgo-beneficio que se hace durante la revisión ética de los ensayos clínicos de primeras fases en humanos. Los reguladores deben desarrollar estándares para el diseño y la presentación de informes de estudios de eficacia preclínica a fin de respaldar la realización de ensayos clínicos éticos.

Introducción
Las fases tempranas de ensayos clínicos en humanos (fase I y II) tienen como objetivo establecer la seguridad, el fundamento y las condiciones para testar nuevos fármacos en ensayos clínicos de fase III, rigurosos, aleatorizados y controlados. Como los estudios de fase temprana en humanos exponen a los sujetos a intervenciones no probadas -y en algunos casos previamente no testadas- proteger a los seres humanos presenta importantes desafíos [1]. La clave para enfrentar estos desafíos es establecer una relación favorable de riesgo-beneficio en la revisión ética prospectiva.

En los ensayos de fase temprana, la evaluación de riesgos y beneficios depende en gran medida de la evidencia que arrojan los estudios preclínicos con animales. En los últimos 10 años, muchos comentaristas han expresado su preocupación sobre el diseño y la presentación de los informes preclínicos [2-9]. Estas preocupaciones se han basado principalmente en estudios transversales de publicaciones revisadas por pares [2,10] y de protocolos de estudios preclínicos [11]. Estos análisis muestran sistemáticamente que no suelen mencionar las medidas adoptadas para reducir el sesgo, incluyendo el cálculo a priori del tamaño de la muestra, y cegar la aleatorización y la evaluación de los resultados. Análisis adicionales sugieren que el sesgo de publicación provoca que las estimaciones sobre el tamaño del efecto estén infladas [2].

Sin embargo, muchos de estos análisis son de estudios preclínicos que se han sometido a revisión por el comité que protege a los animales de experimentación o que se describen en publicaciones. Muchos de estos estudios no han sido necesariamente integrados en los programas de desarrollo de medicamentos y pueden haberse realizado después de que el medicamento haya demostrado eficacia en los ensayos. A modo de contraste, se sabe poco sobre el alcance, la calidad y la accesibilidad de la evidencia preclínica que se utiliza para justificar y revisar el inicio de ensayos clínicos de fase temprana. Consecuentemente, no está claro si los estudios preclínicos que se presentan a las juntas de revisión institucional (IRB), también llamados comités de ética en investigación (CEI), o a las agencias reguladoras se describen de manera que permitan a los respectivos evaluadores realizar una valoración crítica de la solidez de la evidencia que respalda la realización del nuevo ensayo. Tampoco está claro si tales materiales se adhieren a diversos estándares y directrices sobre el diseño de estudios preclínicos [12-14].

Los investigadores clínicos, los IRB o CEI, las juntas de seguridad y monitoreo de datos, y las agencias reguladoras (por ejemplo, la Agencia Europea de Medicamentos [EMA] y la Administración de Alimentos y Medicamentos [FDA]) tienen que hacer la evaluación de riesgos y beneficios. Su principal fuente de información es el folleto o manual del investigador (IB). Según la guía ICH (Conferencia Internacional para la Armonización de los Requisitos Técnicos para el Registro de Productos Farmacéuticos para Uso Humano) de Buenas Prácticas Clínicas E6 [15], la información en los IBs “debe presentarse en forma concisa, simple, objetiva, equilibrada y no promocional, permitiendo que el clínico o el posible investigador la entienda y pueda hacer su propia evaluación imparcial del riesgo-beneficio de la idoneidad del ensayo propuesto”.

En general, los estudios preclínicos de seguridad (principalmente farmacocinéticos y experimentos de toxicología) aportan información sobre el riesgo de los ensayos de fase temprana. La evaluación de su potencial clínico depende en gran medida de los estudios de eficacia preclínica (PCES, a menudo descritos como estudios farmacodinámicos preclínicos en los documentos normativos), que tienen como objetivo proporcionar información sobre la respuesta de la enfermedad en modelos animales. El objetivo principal de este estudio fue determinar el alcance, la calidad y la accesibilidad de los PCES que se incluyen en los IB de los ensayos clínicos en fase temprana que se someten a revisión ética.

Resultados
Características de IBs y PCESs. En total, obtuvimos 109 IB provenientes de: ensayos clínicos de fase I (n = 15), fase I / II (n = 10) y fase II (n = 84) que se enviaron a cualquiera de tres CEI alemanes (ver sección “Materiales y métodos”). La mayoría de estos IBs (n = 97, 83%) reflejaban la muestra completa de IBs para ensayos de fase I / II presentados a uno de los tres CEIs entre 2010 y 2016. Los IB cubrían ocho de las 12 áreas terapéuticas de la clasificación de la Agencia Europea de Medicamentos (Cuadro 1). Siete estudios (6%) fueron “primeros en humanos”, mientras que todos los otros IBs (94%) mencionaron al menos alguna evidencia clínica del producto en investigación. Todos los ensayos fueron financiados con fondos privados (un CEI no permitió que registráramos los financiadores de los 6 IBs que compartieron, por lo que tenemos esta información solo para 103 IB). Estos incluyen 48 IBs (47%) de las 25 principales compañías farmacéuticas por ventas globales [16].

En los 109 IBs se informaba sobre 708 PCESs. La mediana del número de PCESs por IB fue de 5, con 18 IB (17%), incluyendo 0 PCESs y 10 IB (9%) incluyendo más de 15 PCESs (máx. = 32 PCES).

Informes sobre las prácticas utilizadas para abordar las amenazas a la validez
El Cuadro 2 presenta la medida en que los 708 PCESs incluidos en los 109 IBs describieron las estrategias utilizadas para reducir las amenazas a la validez. Se informó el tamaño de muestra en el 26% de PCESs (n = 184), y la mediana del tamaño de los grupos fue de 8 animales. Nunca se explicó el cálculo del tamaño de la muestra. Ninguno de los 708 PCESs describió como se había cegado la asignación del tratamiento y / o la evaluación de resultados. Solo el 4% de las PCESs (n = 26) decían haber utilizado asignación al azar, y el 5% (n = 38 estudios) informaron sobre la exclusión de los datos de animales.

Se describió la caracterización basal de los animales en el 18% de los PCES (n = 127 estudios).

La especie animal se informó en el 88% de los PCES (n = 622 estudios); ver el Cuadro 3 para obtener más detalles sobre las especies animales. El modelo animal utilizado en el experimento se informó en términos generales (por ejemplo, “xenoinjerto” o “modelo de tolerancia de células T”) para el 97% de los PCES (n = 684 estudios), pero sus especificaciones (por ejemplo, línea celular trasplantada para xenoinjerto o tamaño del tumor antes del tratamiento) solo se informaron en el 27% de los PCEs (n = 193 estudios). La selección del resultado se informó en el 81% de los PCEs (n = 575 estudios).

Como se describe en la sección “Materiales y métodos”, algunos problemas de validez no se refieren tanto a los PCESs individuales como al paquete de varios PCESs dentro de un mismo IB. Por lo tanto, estos se clasificaron solo por IB. Los siguientes porcentajes se refieren a los 91 IBs que incluyeron al menos un PCES. A nivel de IB, el 9% (n = 8) informaron al menos en un PCES si la edad de los animales coincidía con la del grupo de edad de los pacientes propuestos en el ensayo clínico. La mayoría de los IBs (74%, n = 67) describieron una respuesta a la dosis preclínica para al menos un resultado estudiado. Al menos un PCES describió evidencia mecanicista de eficacia en el 70% de los IBs (n = 64). Se describió al menos una reproducción de un experimento de eficacia en el 82% de los IBs (n = 75). Estos incluyeron 70 reproducciones en diferentes modelos (77%) y 25 reproducciones en una especie diferente (27%).

Referencias a evidencia preclínica publicada
Se hizo referencia a artículos publicados, revisados por pares, sobre la eficacia preclínica en 80 PCESs (11% de todos los PCESs) incluidos en 20 IBs (18% de todos los IB). Estas publicaciones proporcionaron información adicional sobre el tamaño de la muestra (en 91% de los PCESs informados en revistas versus 26% de PCESs informados en IB), características basales (76% versus 18%), grupos control (98% versus 46%), aleatorización (28% versus 4%) y cegamiento de la evaluación de resultado (5% versus 0%). Sin embargo, en publicaciones de revistas no se encontró información, o se incluía menos información, por ejemplo, para cálculos de tamaño de muestra (0% para PCESs publicados en revistas y 0% para PCESs en IB) y para la coincidencia de edad entre los animales y el grupo de pacientes (5% versus 9 %). Para más información, ver el Cuadro 2.

Efectos informados en PCESs
Menos de la mitad de los PCESs (44%) incluidos 68 IB (75%) informaron resultados en términos cuantitativos que permitieron calificar los resultados como “demuestran un efecto” o “no demuestran ningún efecto”. En total, el 30% de todos los PCESs (n = 211) informaron el tamaño del efecto, y el 23% de los PCESs (n = 161) informaron un valor de p. Otro 53% de los PCESs (n = 372) proporcionaron descripciones narrativas de los resultados.

Con respecto a los resultados, los resultados de 636 PCESs (90%) demostraron un efecto, y los resultados de 43 PCESs (6%) no demostraron ningún efecto. En 29 PCESs (4%), la dirección de los resultados no estaba clara. Los 43 PCESs que no demostraron ningún efecto estaban incluidos en 16 IB (18%). La tabla S1 proporciona ejemplos de los PCESs que no demuestran ningún efecto.

Discusión
Nuestro análisis de 109 IB para ensayos de fase I / II descubrió tres características sorprendentes de los 708 PCESs que se incluían en los IB que se entregaron a los CEI y a las agencias reguladoras para respaldar los ensayos de fase temprana. En primer lugar, el 89% de los PCESs presentan datos sin hacer referencia a un informe publicado y revisado por pares. Si bien es posible que los patrocinadores tengan mecanismos de revisión interna de los PCESs, los miembros de los CEI o de las agencias reguladoras que revisan los IBs no tienen forma de saber si los datos de eficacia preclínica han sido evaluados crítica e independiente. Además, los CEIs y las agencias reguladoras no tienen forma de acceder directamente a los informes preclínicos si no se publican. La tasa tan elevada de no publicación de evidencia preclínica es potencialmente inconsistente con numerosas guías científicas y éticas sobre cuándo se pueden iniciar las fases tempranas de los ensayos clínicos en humanos [13,17].

El segundo hallazgo es que los IBs no incluyen mucha de la información necesaria para hacer una evaluación favorable de la validez de los PCESs. En el lado positivo de la balanza, los IBs a menudo contienen PCESs que caracterizan el mecanismo de acción de los nuevos medicamentos o la relación dosis-respuesta. Muchos también contienen más de un estudio que prueba hipótesis similares, estableciendo así cierto nivel de reproducibilidad de los resultados de eficacia. En el lado negativo, los IBs contienen muy poca información que permita a los revisores evaluar el riesgo de sesgo de estos estudios individuales. Por ejemplo, menos del 20% de los PCESs informaron la caracterización basal, la exclusión de datos del análisis o la aleatorización. El cálculo del tamaño de la muestra y el cegamiento para la evaluación de resultados nunca se informaron. Muchos han argumentado que la validez interna es la sine qua non de un experimento válido [18]. La respuesta a la dosis, el mecanismo y los estudios de reproducibilidad descritos en IBs son difíciles de interpretar sin saber qué tan bien implementaron medidas para controlar el sesgo y los efectos de la variación aleatoria. Un posible sesgo de notificación de los estudios que demuestren el mecanismo de acción previsto o la relación dosis-respuesta agravaría aún más esta dificultad.

Esto nos lleva al tercer sorprendente hallazgo: la escasez de PCESs incluidos en los IBs que no demuestran un efecto (n = 43, 6%). Este desequilibrio de resultados de los PCESs puede deberse a varias razones que no son exclusivas. Una el diseño sesgado del estudio. Es posible que, al no pre-especificar las medidas de criterios de valoración finales o al hacer un uso limitado de técnicas como la evaluación ciega de resultados, los PCESs muestran consistentemente grandes efectos. Una segunda explicación es la inclusión sesgada de PCESs en los IBs. Con una mediana de 8 PCESs por IB, es difícil medir los efectos del tratamiento con precisión. Esto podría ocasionar que los estudios mostraran efectos inusualmente grandes. La atrición de animales en experimentos pequeños podría agravar la tendencia de los estudios a ocasionalmente producir grandes efectos [19]. Una investigación reciente del British Medical Journal (BMJ) respalda la noción de que los datos en animales a veces se informan selectivamente en los IBs [20]. Una tercera explicación es que solo los tratamientos que mostraron efectos consistentemente positivos en los PCESs se seleccionaron para los ensayos de fase temprana. Aunque nuestro estudio no nos permite discriminar entre estas explicaciones, creemos que la última explicación es improbable. Los estudios que demuestran que no hay efecto son cruciales para delimitar los límites de la dosificación, la elegibilidad diagnóstica o el momento en que hay que iniciar el tratamiento cuando se trata de un nuevo tratamiento [21]. Sería importante incluir la información sobre la evidencia de tales límites en un IB. De hecho, encontramos algunos PCESs (ver Cuadro S1) que hicieron el esfuerzo de “demarcación”.

Nuestro estudio tiene varias limitaciones. En primer lugar, debido a las dificultades para acceder a los IBs [20, 22], nuestro análisis no utilizó una muestra aleatoria. Sin embargo, creemos que nuestros hallazgos son generalizables a otros IBs para ensayos de fase temprana. Por ejemplo, los IBs utilizados en nuestro estudio abarcaron un amplio espectro de diferentes financiadores y abordaron muchas áreas terapéuticas diferentes. También es importante tener en cuenta que los mismos IBs que los financiadores envían a los CEIs locales también se envían a la agencia reguladora nacional (Bundesinstitut fuer Arzneimittel und Medizinprodukte [BfArM]). Si los estudios en nuestra muestra se desvían de las normas que se usan en otros lugares, estas desviaciones caen dentro de la ventana de aceptabilidad para los reguladores de medicamentos.

Una segunda limitación es el hecho de que solo una pequeña minoría de los IBs fueron estudios “primeros en humanos” (7 IB, que incluyen 30 PCESs). Sin embargo, muchos ensayos de fase I que no son primeros en humanos involucran nuevas indicaciones o combinaciones de medicamentos; los PCECs son fundamentales para justificar dichos estudios. Además, los ensayos de fase II representan el primer intento de evaluar la eficacia de un fármaco en seres humanos. Su justificación en última instancia se basa en la evidencia de promesa clínica que se establece en los PCECs. En general, si se considera importante incluir información sobre la eficacia preclínica en un IB, la información sobre la validez de los respectivos PCECs también debería ser importante.

Por último, hay limitaciones por la forma en que evaluamos cómo los IBs describieron como se habían abordado las amenazas a la validez. Por ejemplo, nuestra matriz de 14 elementos no atribuyó pesos a ninguna práctica en función de su posible impacto en el sesgo. Además, el hecho de que las medidas destinadas a fortalecer la validez de los hallazgos de los PCESs se informen tan infrecuentemente en los IBs no necesariamente significa que no se hubieran implementado. De todas formas, nuestra matriz se basó en la forma en que se recopila la evidencia cuando se hace una revisión sistemática y, por lo tanto, proporciona un punto de partida razonable para describir cómo se informaron los diseños de estudios en los IBs. Las partes interesadas encargadas de la evaluación de riesgos y beneficios, como investigadores, CEIs, agencias reguladoras y juntas de seguridad y monitoreo de datos, no tienen forma de saber cómo se realizaron los estudios si la información relevante sobre su diseño no se incluye en el IBs; esto sucede especialmente si los estudios no han sido publicados.

Para mejorar el uso efectivo de la información preclínica para la evaluación riesgo-beneficio en los ensayos de fase I / II, ofrecemos las siguientes recomendaciones. En primer lugar, los IBs deben describir las medidas tomadas en los PCECs para apoyar la generalización clínica. Investigación en animales: Las recomendaciones incluidas en Informar de Experimentos In Vivo (ARRIVE), que se establecieron en 2010, brindan una sugerencia sobre cómo hacerlo [23]. Para facilitar una evaluación eficiente de los IBs, podría ser útil presentar las prácticas relevantes, como el uso de la aleatorización o la elección de las variables de impacto, en forma de cuadro. Además, las observaciones explícitas sobre el “nivel de evidencia” para cada estudio preclínico podrían incluirse en los cuadros, con estudios designados como “confirmatorios” cuando tengan hipótesis, y protocolos preespecificados como “exploratorios” cuando sus hipótesis y protocolos no se establecieron prospectivamente. Los estudios “confirmatorios” también deben asumir el gasto de emplear métodos que mejoren la validez interna y de constructo, a saber, el cálculo del tamaño de la muestra a priori, la asignación ciega o la evaluación cegada de los resultados y el uso de criterios de valoración clínicamente relevantes [12]. La información sobre la reproducibilidad de los estudios preclínicos confirmatorios y el metaanálisis de estudios suficientemente similares podrían mejorar aún más el nivel de evidencia [24]. Una presentación más gradual de la evidencia preclínica podría ayudar a los evaluadores a navegar a través de las preguntas más importantes para evaluar la promesa clínica y la seguridad [9,25]: ¿Se han reproducido los efectos en diferentes modelos y / o en laboratorios independientes? ¿Las condiciones del experimento (por ejemplo, la edad de los animales, el momento en que se administran los tratamientos y los informes de los resultados) coinciden con los escenarios clínicos?

En segundo lugar, los IBs deben indicar si presentan la totalidad de la evidencia preclínica y, de no ser así, cómo se seleccionaron los datos para su inclusión en el IB. Una opción sería presentar solo estudios preclínicos que se hayan registrado previamente [26,27]. Esta mayor transparencia podría ayudar a prevenir la notificación selectiva de resultados y permite a los evaluadores verificar si existen otros estudios preclínicos relevantes.

Futuros estudios deben evaluar cómo la mejora de los informes de los datos preclínicos incluidos en los IBs influyen en el análisis riesgo-beneficio durante la revisión ética. Es improbable que simplemente mejorar los reportes resuelva los problemas relacionados con el riesgo de sesgo en la evidencia preclínica. Los organismos reguladores como la FDA y la EMA ofrecen recomendaciones específicas para el diseño de estudios preclínicos de seguridad [28]. Hasta donde sabemos, no existen pautas normativas que ofrezcan estándares para el diseño y la presentación de informes de PCECs. Como los IBs investigados en este estudio son los que se utilizan en la revisión ética y regulatoria, recomendamos que los reguladores desarrollen estándares para el diseño y la presentación de los informes de los PCECs que se incluirán en los IBs.

Materiales y Métodos
Muestra de IB. Es muy difícil acceder a los IBs y a los protocolos de ensayos clínicos que revisan los CEIs, porque los centros médicos académicos mantienen los IBs en estricta confidencialidad. De hecho, las dificultades de acceso al protocolo se han discutido como un problema importante para la meta-investigación y la garantía de calidad de la revisión ética [22]. Una investigación reciente en el BMJ ilustra los desafíos de acceder a protocolos de estudio e IBs [20]. Como nuestra pregunta de investigación era delicada y el acceso a los protocolos es tan restringido, consideramos que era poco probable que la identificación aleatoria de los centros para la investigación fuese productiva y obtuviésemos una muestra cercana al azar. Por lo tanto, nos acercamos personalmente a seis presidentes de CEI alemanes para explicar los motivos de nuestro interés en analizar cómo se informan las pruebas preclínicas en IBs. Tres de ellos estuvieron dispuestos a otorgar acceso bajo las condiciones de protección de datos que se describen a continuación.

Un CEI responsable de revisar todos los ensayos clínicos que se realizaron en uno de los principales hospitales universitarios alemanes nos dio acceso a su muestra completa de 97 ensayos de fase I / II que aprobaron entre 2010 y 2016. Los CEIs de otros dos hospitales universitarios alemanes nos permitieron acceder a los seis IBs de los ensayos de fase I / II revisados más recientemente.

Protección de Datos. Todos los IBs se analizaron in situ en las tres universidades. Todos los miembros del equipo de investigación firmaron acuerdos de confidencialidad. Los resultados se informan de manera agregada y no permiten la identificación de productos en investigación, patrocinadores, investigadores u otra información comercialmente sensible.

Selección y calificación de PCEs. Seleccionamos los PCEs de los IBs utilizando los siguientes criterios de inclusión: (A) los estudios se realizaron en animales no humanos y eran (B) relevantes para interpretar la eficacia del producto en investigación (p ej., incluían datos moleculares, conductuales o fisiológicas que según fueron descritos, se correlacionaban con la actividad clínica). Se excluyeron los estudios preclínicos que eran: (A) solo estudios farmacocinéticos, (B) solo estudios de toxicología y seguridad o (C) estudios in vitro / ex vivo.

Para calificar el grado en que los PCECs abordaron las amenazas a la inferencia clínica válida, se empleó una matriz basada en los resultados de una revisión sistemática de 26 guías para el diseño y la realización de PCEs [29]. Esta matriz contiene 14 ítems sobre prácticas de investigación agrupadas en tres tipos de amenazas a la validez que se deben tener en cuenta al hacer investigación: (1) amenazas a la validez interna, (2) amenazas a la validez de constructo y (3) amenazas a la validez externa (Tabla S2)

Cada estudio se evaluó individualmente con relación a elementos como la aleatorización o el tamaño de la muestra, y la evaluación de cada PCES se pudo hacer con relativa facilidad (Cuadro 2). Otros ítems, como si se tratara de estudios mecanicistas o de replicación, pertenecen más bien a un paquete de pruebas y no tanto a estudios individuales y, por lo tanto, se evaluaron a nivel de IB (Cuadro 2). Los 14 ítems y sus preguntas aclaratorias debían calificarse como informados, no informados o no aplicables. Los criterios de puntuación se presentan con más detalle en el Cuadro S2.

Para puntuar si cada PCES demostró un efecto o no, extrajimos las estadísticas inferenciales (tamaños del efecto y valores de significación) o la redacción narrativa de los resultados. Cuando se realizaron pruebas inferenciales, definimos la “demostración del efecto” en función de si el intervalo de confianza del 95% excluía el valor nulo o si los valores de la p se informaron como menores o iguales a 0,05.

Tres autores, en forma independiente, realizaron un plan piloto para testar los puntajes y puntuaciones de PCESs e IBs (WWLC, SW y CF) en una muestra inicial de 10 IBs; estos IBs contenían 77 PCEs en total. Las calificaciones poco claras y los desacuerdos iniciales se discutieron con JK y DS, y los criterios de puntuación se modificaron ligeramente. Una vez que se acordó la hoja de puntuación final, SW y WWLC seleccionaron y calificaron independientemente las PCESs de una segunda muestra aleatoria de 10 IBs, incluyendo 117 PCESs. Para esta calificación independiente, encontramos una discordancia entre 0% y 16% por artículo, lo que resulta en una confiabilidad promedio entre evaluadores del 94% (Cuadro S3). A partir de entonces, WWLC seleccionó y calificó los restantes 59 IBs y SW 12 IBs. Los 18 IB que carecían de PCESs no se analizaron con mayor detalle. Todos los casos poco claros de esta tercera ronda de análisis se discutieron con todos los demás autores y se resolvieron.

Algunos IBs citan publicaciones revisadas por pares que incluyen más información sobre la conducta y los resultados de sus PCEs. Identificamos estas publicaciones (n = 80) y aplicamos la misma matriz de 14 ítems para extraer del texto completo de las publicaciones las prácticas que abordan las amenazas de validez (SW clasificó 56 publicaciones y SS calificó 24 publicaciones). Una vez más, todas las calificaciones poco claras se discutieron con todos los demás autores y se resolvieron.

Se utilizaron estadísticas descriptivas.