Los magos son maestros del engaño, y nosotros adoramos que nos engañen. ¿Cómo logran los magos ejecutar sus ilusiones? La clave de cada truco de magia es orientar al espectador en la dirección equivocada. Si les dice a los miembros de la audiencia que miren A, entonces no mirarán B. Y es B lo que hace que el truco funcione.

Por eso muchos magos prohíben los teléfonos celulares durante sus actuaciones. Si puede tomar un video del truco y verlo repetidamente, es posible que descubra cómo funciona. Puede seguir buscando B, aunque el mago esté haciendo todo lo posible para asegurarse de que está centrado en A.

¿Por qué estoy hablando de magos en un blog dedicado a la medicina?

Hace dos semanas, escribí un post sobre mis experiencias como investigador principal en ensayos clínicos grandes. Varios lectores pensaron que mis experiencias personales no representaban la norma. Muchos pensaron que frecuentemente se manipulan los datos de los ensayos clínicos para presentar los mejores resultados posibles. Tuve que reconocer que sus preocupaciones eran válidas.

Un amigo a quién respeto me sugirió que dedicase un blog a describir cómo alguien podría manipular los datos para que un ensayo negativo aparezca como positivo. Mi desafío: ¿cómo podría describirlo en un blog?

Pronto la respuesta se hizo evidente. Engañar a la audiencia al presentar un ensayo clínico se basa en la misma estrategia de desvío de atención que los magos utilizan para que sus actuaciones funcionen.

Lo crea o no, hay docenas de formas distintas de desviar la atención cuando se presentan los resultados de un ensayo clínico. Podrían llenar un libro entero. Pero hoy, voy a mencionar las dos más importantes, que cualquier lector u oyente puede tratar de identificar.

Lo primero y lo más importante es el truco de los datos que faltan. La mejor manera de hacer que los datos se vean mejor es eliminar los que no le gusten o ni siquiera molestarse en recopilarlos. Si la presentación no incorpora los datos que faltan, es posible hacer todo tipo de travesuras.

Digamos que en un ensayo ha asignado a 600 pacientes al azar. Según el principio de intención de tratar que gobierna la integridad de los ensayos clínicos, debe mostrar los datos de 600 pacientes. Pero, a menudo, los investigadores le mostrarán datos sobre 550 pacientes, habiendo eliminado a 50 pacientes del análisis.

Los investigadores clínicos pueden dar todo tipo de razones para justificar la ausencia de 50 pacientes. Pueden decir que los pacientes nunca regresaron para el seguimiento, o que violaron el protocolo y fueron retirados del análisis. Los investigadores pueden ser muy creativos al idear razones que parecen creíbles, pero están sesgadas. Incluso pueden afirmar que los datos faltantes no importan si afectan a ambos grupos de tratamiento por igual, aunque eso no es cierto.

La verdad: la falta de datos nunca es aleatoria, y si es lo suficientemente grande, siempre es una fuente de sesgo. ¿El paciente no regresó para su seguimiento porque murió o sufrió un efecto adverso grave? El investigador puede que ni siquiera lo sepa. La integridad de un ensayo clínico depende de la capacidad del investigador para describir completamente lo ocurrido y dar cuenta de todos los datos faltantes. Un investigador fuerte se preocupa por los datos faltantes; un investigador descuidado ignora el problema.

¿Cuándo es importante la falta de datos? Cuando la cantidad de datos faltantes es una proporción significativa del tamaño del efecto del tratamiento. Ejemplo: si el grupo de tratamiento tuvo 25 muertes menos que el grupo de control, la falta de datos de 15 pacientes es significativa. Si el grupo que recibe el tratamiento tuvo 200 muertes menos que el grupo de control es muy poco probable que la falta de datos de cinco pacientes sea relevante.

El segundo truco es no mostrar un plan de análisis, o alternativamente, mostrar un análisis que no fue planeado. En cada ensayo clínico, las reglas que rigen el análisis de los datos se describen con anticipación en un protocolo y en un plan estadístico formal. Estos documentos proporcionan evidencia de que los investigadores planean examinar una variable de impacto muy específica, que se define de una manera muy específica y se analiza de una manera muy específica en una secuencia muy específica. Estas reglas se definen antes de que alguien tenga la oportunidad de ver los datos.

¿Cómo sabe si los investigadores siguieron las reglas preespecificadas? Necesita leer el protocolo y el plan de análisis estadístico. Y si puede, debe consultar las fechas en que estos documentos se presentaron con antelación a las agencias reguladoras.

Estos documentos pueden revelar que los investigadores definieron cuatro medidas de impacto de una manera muy específica, y que intentaron analizarlos en la secuencia: A, D, C, B.

Entonces, ¿se preocuparía si los investigadores solo presentaran los resultados de A y C? ¿se preocuparía si cambiaran la definición de A post-facto? ¿se preocuparía si analizaran C de una manera que no fue planeada? ¿y se preocuparía si el presentador le dijera que centrara tu atención en una nueva medida de impacto, llamémosla E, que nunca se planificó de antemano?

Debe preocuparse en cualquiera de esas circunstancias.

¿Cómo puede saber si los investigadores siguieron fielmente su plan? Algunas revistas de primer nivel requieren que los investigadores proporcionen archivos de su protocolo y un plan de análisis estadístico en el momento de la revisión inicial por pares, y se publican como suplementos en línea al publicar el documento que informa los resultados principales del estudio. Lamentablemente, la mayoría de las revistas no tienen este requisito. E incluso cuando se publican estos documentos, la mayoría de los lectores no se molestan en mirarlos.

Hay cuatro cosas importantes que recordar acerca de estos documentos.

• Los investigadores saben que estos documentos serán estudiados de cerca. Por lo tanto, algunos podrían sentirse tentados a especificar un análisis inadecuado de antemano. Especificar algo estúpido en el plan estadístico no lo convierte en válido.
• Los investigadores deben resumir la esencia de estos documentos en una diapositiva que se muestra al hacer su presentación en una reunión científica. Es una de las diapositivas más importantes, pero también es la que la mayoría de las personas de la audiencia ignorarán. Y con demasiada frecuencia, no se presenta.
• Si el medicamento o dispositivo es aprobado, la FDA debe poner sus análisis a disposición del público. Por lo tanto, es posible comparar los análisis de una publicación con los análisis realizados por la FDA. Para todos los análisis preespecificados, estos deben ser muy similares entre sí. Los análisis de la FDA son particularmente fáciles de acceder si el medicamento o dispositivo ha sido considerado por un comité asesor público, ya que se publican simultáneamente en el sitio web de la FDA.
• El plan estadístico se centra únicamente en los análisis que son relevantes para demostrar la eficacia de la intervención para una indicación específica. Muchos artículos secundarios de un ensayo clínico describen análisis destinados a conocer otros efectos de la intervención o la enfermedad en sí. Estos análisis no forman parte del proceso de aprobación reglamentaria, y sus conclusiones siempre deben considerarse en el contexto de la totalidad de la evidencia en la literatura médica. Algunos son generadores de hipótesis; algunos confirman observaciones similares en otros ensayos.

Así que, en resumen, aquí hay dos reglas simples.

Primero, ¿faltan datos y la proporción de datos que faltan es significativa?

Segundo, ¿los autores especificaron un plan de análisis válido por adelantado y lo siguieron?

Si estas dos reglas simples no se siguen, debería cuestionarlo y preocuparse. ¿El presentador quiere que me centre en A, cuando debería mirar B? Si los presentadores quieren desviar a la audiencia, es algo muy simple de hacer, especialmente en una presentación que dura entre 10 y 15 minutos.

Para ser claros, estos no son los únicos dos trucos que las personas pueden usar para manipular los datos de un ensayo clínico. Pero cubren mucho terreno.

Este es el concepto más importante de todos. Es posible que los investigadores que apuntan en la dirección equivocada no estén conscientemente intentando engañar a la gente. Sorprendentemente, a menudo son los que están siendo engañados. Con demasiada frecuencia, los investigadores son susceptibles al autoengaño, especialmente si no conocen las reglas de un análisis adecuado y están dispuestos a encontrar una manera de demostrar que la intervención funciona (incluso cuando no es así).

Apuntar en la dirección equivocada es esencial para el éxito de los magos. Cuando se hace con perfección, es una delicia. El público realmente disfruta de ser engañado.

Pero, cuando escuchamos los resultados principales de un ensayo o leemos la publicación de los resultados en una revista, no estamos interesados en el entretenimiento o en las ilusiones. Estamos interesados en datos y análisis imparciales. Esto es lo que hace que la ciencia sea diferente a la magia.