Los documentos internos de IBM muestran que su supercomputadora Watson a menudo arroja consejos erróneos para el tratamiento del cáncer, y que los médicos especialistas y los clientes de la compañía identificaron “múltiples ejemplos de recomendaciones de tratamiento inseguras e incorrectas”, mientras IBM promocionaba el producto a hospitales y médicos de todo el mundo.

Los documentos (juegos de diapositivas presentadas el verano pasado por el jefe adjunto de salud de IBM Watson Health) atribuyen gran parte de los problemas a la capacitación de Watson por los ingenieros de IBM y los médicos del famoso Memorial Sloan Kettering Cancer Center. El software se construyó con un pequeño número de casos de cáncer “sintéticos”, o pacientes hipotéticos, en lugar de datos reales de pacientes. Las recomendaciones para cada tipo de cáncer se basaron en la experiencia de unos pocos especialistas, dicen los documentos, en lugar de usar “guías o evidencia”.

STAT ha visto partes de esas dos presentaciones, las de junio y julio de 2017. En ese momento, se compartieron ampliamente con la administración de la división de Watson Health de IBM. Los documentos contienen evaluaciones mordaces de Watson for Oncology por parte de los clientes y concluyen que las recomendaciones “a menudo inexactas” generan “cuestionamientos serios sobre el proceso de creación de contenido y la tecnología subyacente”.

IBM no ha reconocido públicamente las deficiencias del software, que utiliza algoritmos de inteligencia artificial para recomendar tratamientos para pacientes individuales. Por el contrario, los principales ejecutivos de la compañía dijeron a los clientes y a otros, que los consejos que Watson for Oncology aporta a los médicos se basan en datos de pacientes reales, y que había recibido elogios casi universales de médicos de todo el mundo.

Deborah DiSanzo, gerente general de IBM Watson Health, dijo a STAT en una entrevista realizada en junio de 2017: “A los médicos les gusta. Los médicos me dijeron: si me lo quitara ahora, tendría una revuelta”.

Hace dos meses, John Kelly, vicepresidente senior de la división de soluciones para conocimiento de IBM, que incluye a Watson, dijo en un evento de IBM que Watson: “ha ingerido todos los datos de Memorial Sloan, pacientes históricos y resultados”. Y en otro evento en abril, dijo que Watson for Oncology está “yendo fabulosamente”.

“Es fundamental que todos los involucrados sepan qué datos se utilizaron”, agregó Kelly, haciéndose eco de los comentarios del CEO de IBM, Ginni Rometty, de septiembre de 2017 quien dijo: “Debes ser transparente sobre estas cosas porque eso es importante en estas decisiones”.

STAT publicó por primera vez una investigación sobre los problemas de Watson for Oncology en septiembre pasado, informando que no estaba cumpliendo con las expectativas de la compañía y que estaba generando quejas de médicos de todo el mundo porque a menudo sus recomendaciones no eran adecuadas para los pacientes de sus países. Consecuentemente, IBM empañó su reputación en el creciente mercado global de herramientas que utilizan inteligencia artificial para mejorar la atención del cáncer, un sector que es una de las principales prioridades para IBM y que podría valer miles de millones de dólares.

Pero estos nuevos documentos revelan que los problemas eran más serios y sistémicos, y que los ejecutivos de IBM sabían que el producto estaba generando recomendaciones inexactas que estaban en desacuerdo con las pautas de tratamiento nacionales, aunque no se menciona que los pacientes realmente sufrieran daños. Los documentos también establecen que los estudios que IBM realizó sobre el software, cuyos hallazgos se presentaron como evidencia de la utilidad del sistema, se diseñaron para generar resultados favorables.

El Dr. Andrew Norden, oncólogo y jefe adjunto de salud, presentó los documentos antes de dejar IBM Watson Health en agosto pasado. Los documentos muestran que, mientras los ejecutivos de IBM alababan públicamente el producto, escuchaban los comentarios ásperos de los clientes. Incluso los médicos de los hospitales que ayudaban a promover el producto les decían en privado a los ejecutivos de IBM que no era útil para tratar a los pacientes.

Según los documentos, un médico del Hospital Jupiter en Florida dijo a ejecutivos de IBM “Este producto no sirve para nada”. “Lo compramos para marketing y con la esperanza de que ustedes lograrían su cometido. En la mayoría de los casos no podemos usarlo”.

IBM defendió su software Watson for Oncology y dijo en un comunicado a STAT: “Aprendemos y mejoramos Watson Health en base a la retroalimentación continua de los clientes, la nueva evidencia científica y los nuevos tipos de cáncer y alternativas de tratamiento. Esto incluye 11 versiones de software para mejorar su funcionalidad durante el año pasado, incluyendo las guías nacionales para los cánceres que van desde el colon hasta el cáncer de hígado”.

Dijo que Watson for Oncology está capacitado para ayudar a tratar 13 cánceres, y lo utilizan 230 hospitales de todo el mundo.

Caitlin Hool, portavoz de Memorial Sloan Kettering, dijo en una declaración que los documentos internos que critican la capacitación y el desempeño del sistema, reflejan “la naturaleza robusta del proceso” de creación y despliegue del producto en la atención clínica. Hool dijo que el centro del cáncer está trabajando continuamente con IBM para mejorar la precisión y amplitud de las recomendaciones del sistema.

“La seguridad del paciente es de suma importancia”, dijo Hool. “Si bien Watson for Oncology ofrece opciones de tratamiento seguras, las decisiones de tratamiento requieren, en última instancia, la participación y el criterio clínico del médico tratante… Ninguna tecnología puede reemplazar a un médico y su conocimiento sobre su paciente. Hasta este momento, la herramienta tampoco es equivalente a la atención del cáncer brindada en MSK”.

Norden se negó a comentar, enviando un correo electrónico a STAT: “Como saben, ya no soy empleado de IBM Watson Health y, por tanto, no puedo hablar de IBM ni de su negocio”.

Jupiter Medical Center no respondió a las solicitudes de comentarios.

En 2012, IBM estableció un acuerdo con Memorial Sloan Kettering para entrenar a Watson para ayudar a tratar a los pacientes con cáncer, y unos años más tarde comenzó a vender el producto en Asia, a pesar de que solo había sido capacitado en unos pocos cánceres.

Las presentaciones de Norden revelan una serie de supuestas fallas en los métodos de capacitación, incluyendo el hecho de que se utilizaron pocos casos, cuyo número dice que se “determinó sin aportes estadísticos” y las diferencias entre los tratamientos de MSK y las guías estándar. También señalan que Watson for Oncology tardó en adaptarse a los nuevos hallazgos de investigación y a los cambios en las guías de tratamiento.

El documento del 27 de julio indicaba que la capacitación y la efectividad del producto se vieron socavadas por la “insuficiencia de los casos utilizados en la capacitación”. Dijo que uno o dos médicos capacitaron al sistema para dar recomendaciones de tratamiento para cada tipo de cáncer y que los casos eran “sintéticos”, lo que significa que fueron ideados por médicos de MSK y no eran pacientes reales.

Los médicos y los ingenieros de IBM compilaron los casos sintéticos para exponer a Watson for Oncology a escenarios clínicos, a diferencia de los registros reales de los pacientes que recibieron tratamiento en el hospital. Esto significaba que las recomendaciones de Watson estaban basadas en las preferencias de tratamiento de los médicos, no en el análisis de aprendizaje automático de casos en pacientes reales.

Según la presentación, los métodos de capacitación y los consejos de Watson provocaron fuertes quejas de los médicos, lo que contribuyó a la insatisfacción de los clientes y a la preocupación de los médicos. También declaró que las recomendaciones de Memorial Sloan Kettering se desviaron de las pautas publicadas por el National Comprehensive Cancer Network, que con frecuencia se usa como referente para recomendaciones de tratamiento, y en algunos casos reflejaron una “interpretación no convencional de la evidencia”.

La presentación citó como ejemplo la recomendación de Watson de que un hombre de 65 años con cáncer de pulmón recién diagnosticado y evidencia de hemorragia grave recibiera quimioterapia combinada y un medicamento llamado bevacizumab. El bevacizumab, que se vende con el nombre de marca Avastin, lleva una advertencia de “caja negra” porque puede provocar una “hemorragia grave o fatal” y no debe administrarse a pacientes que presenten sangrado grave.

“Caramba”, dijo el Dr. Eric Topol, director del Instituto de Ciencia Traslacional de Scripps, a STAT al enterarse del error. “Cada vez que tienes un algoritmo que hace una recomendación peligrosa, es extremadamente preocupante. Quiero decir, la idea general es que los algoritmos mejoran la seguridad y la calidad”.

En su declaración, Memorial Sloan Kettering dijo que cree que la recomendación sobre el cáncer de pulmón citada en la presentación era parte de las pruebas del sistema de IBM, y no afectaron a un paciente real. “Esta es una distinción importante y subraya la importancia de las pruebas y el hecho de que la herramienta pretende complementar, no reemplazar, el juicio clínico del médico tratante”, dice la declaración.

El centro de cáncer también dijo que, en 2014, cuando Watson for Oncology aún estaba en desarrollo, los casos de pacientes históricos se usaron inicialmente para entrenar el sistema. Pero IBM determinó que los casos sintéticos, diseñados para ser representativos de cohortes de pacientes reales de MSK eran más adecuados para el desarrollo de Watson for Oncology.

“La velocidad con la que han cambiado los estándares de atención requiere un enfoque más dinámico que el que pueden proporcionar los datos históricos, porque los casos históricos no reflejan necesariamente los estándares más actualizados de atención”, dijo la declaración de MSK. “Los casos sintéticos también permiten incluir diversas opciones de tratamiento en las recomendaciones de Watson for Oncology, en lugar de un enfoque más restringido de cómo los pacientes individuales fueron tratados en MSK”.

Pero la información del producto publicada en el sitio web de IBM y fechada el 15 de febrero de 2017, implica que Watson continúa recibiendo capacitación con datos reales de pacientes. Afirma que Watson for Oncology “analiza los datos de los pacientes en comparación con miles de casos históricos y conocimientos extraídos de miles de horas de estudio de médicos y analistas del Memorial Sloan Kettering”.

La presentación de julio de 2017 muestra el número de casos utilizados para capacitar a Watson hasta esa fecha para ocho cánceres diferentes; van desde 635 casos para el cáncer de pulmón hasta 106 para el de ovario.

Los expertos en inteligencia artificial dijeron a STAT que la descripción de la capacitación realizada por IBM y el número de médicos y pacientes involucrados plantea dudas sobre si es transparente con los usuarios sobre la fuente y el valor de las recomendaciones de Watson.

Nigam Shah, profesor asociado de medicina y ciencia de datos biomédicos de la Universidad de Stanford comentó: “Lo que es un poco engañoso es que a todos nos hicieron creer que este es el consenso de todo el poder intelectual de Sloan Kettering. Pero en realidad es el consenso de… un pequeño subconjunto de toda la capacidad disponible”.

“Debería llamárseles la atención sobre esto”, agregó Shah. “Apostaría que es un riesgo calculado que tomaron… Están jugando con la gente, pero dentro de los margenes de marketing que cada vez son mas permisivos, permítanme decirlo de esa manera. Pero no todos pueden verlo, así que no es honesto”.

Algunos expertos dijeron que sería posible que los datos de pacientes hipotéticos puedieran servir para mejorar el sistema, si fueran representativos de los datos de los pacientes reales.

El Dr. Jonathan Chen, profesor asistente del Centro de Investigación Informática Biomédica de la Universidad de Stanford dijo: “Sin duda, me gustaría ver alguna validación que confirmara que los datos sintéticos son representativos de cualquier cosa que tenga sentido”,

Jana Eggers, directora ejecutiva de Nara Logics, una compañía de inteligencia artificial dijo que el uso de datos sintéticos por parte de Watson dejó en claro que este software no estaba usando las grandes bases de datos (“big data”) que tienen los sistemas de salud, un montón de información sobre individuos, que es demasiada compleja o gravosa para que la puedan analizar los humanos.

“Simplemente, están inventando pacientes con cáncer,” dijo Eggers. “¿Por qué haces eso cuando tienes enfermos?”

Los documentos internos también plantean preguntas sobre la validez de los estudios realizados por IBM que la compañía utilizó para demostrar el valor de Watson for Oncology a médicos de todo el mundo.

En los últimos años, IBM y sus socios clínicos han publicado varios estudios que demuestran que Watson lograría un alto nivel de “concordancia” con las recomendaciones de tratamiento de los oncólogos. Teóricamente esto es valioso porque muestra que Watson podría generar recomendaciones en segundos que los médicos pasarían muchas horas o días desarrollando.

Pero una de las presentaciones afirma que los estudios de concordancia se habían “diseñado de forma que los hallazgos negativos fueran poco probables”. Señaló que los usuarios sofisticados del sistema exigirían “pruebas prospectivas sólidas” de cumplimiento de las guía, ahorro en los costos y mejoras la calidad.

La presentación de Norden del 26 de junio de 2017 decía: “Es poco probable que el sistema, tal como está diseñado actualmente, afecte algo de lo anterior”.

Sin embargo, advirtió sobre los riesgos de realizar un estudio de este tipo en un momento en que IBM ya estaba vendiendo el sistema en todo el mundo: “Desde mi punto de vista, realizar un estudio riguroso ahora es un esfuerzo de muy alto riesgo que, en el mejor de los casos, puede ser embarazoso y, en el peor de los casos, tener graves consecuencias comerciales adversas”.

De hecho, una compañía que trabaja con IBM para implementar Watson for Oncology en hospitales de los Países Bajos dijo a STAT en junio que no está interesada en la “concordancia” o en si Watson recomienda el mismo tratamiento que las guías.

Vincent The, jefe de estrategia, investigación y desarrollo de la compañía holandesa MRDM, dijo: “Lo que nos interesa es si el sistema llegará desafiar nuestro pensamiento”.

Anadió que MRDM está trabajando con IBM para mejorar Watson for Oncology. Vincent The explicó: “Parece que está madurando bastante. Sin embargo, en el estado actual, no está al nivel que necesitamos”.

Muchos usuarios de Watson for Oncology, así como los propios empleados de IBM, expresaron preocupación por el desempeño del sistema durante el año pasado. La presentación de Norden afirmó que varios empleados, incluyendo desarrolladores y oncólogos, le habían “confiado” que el producto era “muy limitado”.

La presentación de Norden ofreció un par de soluciones para mejorar el sistema: el número de casos de pacientes podría aumentarse para reflejar los “patrones de práctica de MSK”, con muestras mínimas establecidas en función de los datos estadísticos. O, dijo, las pautas de tratamiento estándar podrían usarse como base de las recomendaciones de Watson, personalizándolas para las diferentes lugares, y Memorial Sloan Kettering podría identificar sus propios enfoques institucionales dentro del sistema.

No queda claro si se implementó alguna de estas sugerencias.

Norden dejó IBM en agosto de 2017 para aceptar un trabajo en Cota Inc., otra compañía que busca analizar datos sobre el cáncer y que ya había establecido una asociación con IBM.

Desde junio de 2017, las dos compañías han estado trabajando en un producto conjunto que combinaría la tecnología de Cota con Watson. Cota puede comparar pacientes con cáncer individuales con una base privada de datos que incluye información sobre cómo otros pacientes fueron tratados para ayudar a un médico a determinar el mejor método de tratamiento.

La presentación de Norden sugirió que el trabajo con Cota, una compañía fundada por un médico en Hackensack Meridian Health en Nueva Jersey, podría ayudar a exponer a Watson for Oncology a la evidencia del mundo real que se requiere para mejorar sus recomendaciones.

Mientras tanto, los médicos de Hackensack Meridian han completado un proyecto piloto que prueba el producto conjunto.

“Fue bien”, dijo Norden sobre el proyecto en una entrevista con STAT el 10 de julio, y explicó que tenía la intención de crear una herramienta para que los médicos pudieran, en el lugar de atención, resaltar los tipos de tratamiento que hayan funcionado mejor para tipos específicos de pacientes.

“Estamos tomando el piloto y lo estamos ampliando”, dijo Norden, declinando dar más detalles.

El Memorial Sloan Kettering también notó la promesa del producto de Cota: en noviembre de 2017 llegó a un acuerdo para que Cota ayudara a analizar los registros históricos de pacientes del centro médico. Como parte del acuerdo, MSK recibió capital en Cota.

En una respuesta enviada por correo electrónico a las preguntas de STAT sobre el motivo de la asociación, Hool, la portavoz de MSK, escribió: “Se pueden obtener importantes conocimientos a partir de la información de las historias médicas de los pacientes, pero estos detalles a menudo son inaccesibles por la falta de estructura, o la desconexión entre los diferentes ítems de la historia clínica. “Cota tiene una plataforma y un enfoque innovador para usar las historias clínicas de los pacientes y convertirlas en conjuntos de datos que pueden analizarse para obtener información sobre el diagnóstico, las alternativas de tratamiento y los resultados”.