Un estudio publicado en npj Digital Medicine presenta MMC+, un sistema que detecta cambios en los datos que recibe un modelo de IA, y lo probó con más de 90 mil radiografías de tórax tomadas durante la pandemia de COVID-19.
Una inteligencia artificial (IA) que se entrena y se prueba en condiciones ideales puede rendir distinto cuando llega a un hospital real, y ese rendimiento puede cambiar con el tiempo. Cambian los equipos, los protocolos y los pacientes que llegan, y el modelo, que no sabe que algo cambió, sigue emitiendo resultados con la misma seguridad. Investigadores de Microsoft y del Hospital General de Massachusetts, en colaboración con la Escuela de Medicina de Harvard, presentaron un sistema llamado MMC+ para detectar a tiempo esos cambios, que en el campo se conocen como deriva de datos.
Actualmente, la forma más común de enterarse de que un modelo falla es que los propios usuarios lo reporten. Los autores señalan que esto tiene dos problemas primero, llega tarde y además no explica la causa. Vigilar el desempeño de forma directa exigiría que alguien revisara continuamente los resultados contra un diagnóstico confirmado, algo costoso y, en el caso de modelos que predicen eventos futuros, a veces imposible. MMC+ propone otra ruta, que consiste en observar si los datos que recibe el modelo se parecen a aquellos con los que se sabe que funciona bien, sin esperar a que haya errores.
Para ello compara un periodo de referencia, en el que el desempeño del modelo ya está medido, con ventanas móviles de 30 días de actividad reciente. El sistema combina tres señales, los datos técnicos de cada estudio, como la posición del paciente en la placa, el aspecto de las imágenes, analizado con un modelo de base entrenado en imagen médica, y lo que el propio modelo está prediciendo. Con ellas genera un solo indicador y un margen de incertidumbre. Una ventaja práctica es que no requiere entrenar un componente nuevo en cada hospital, lo que reduce el costo de adoptarlo.
La prueba se hizo con 90,581 radiografías de tórax de 60,062 pacientes, tomadas en el Hospital General de Massachusetts entre julio de 2019 y junio de 2021. Un modelo de IA que identifica nueve hallazgos, entre ellos neumonía, derrame pleural y cardiomegalia, sirvió como caso de estudio. El indicador se mantuvo estable hasta mediados de marzo de 2020, cuando se declaró la emergencia sanitaria en el estado, y a partir de entonces subió y no volvió a su nivel inicial. Cuando el indicador estuvo por debajo del umbral definido, el desempeño del modelo se mantuvo dentro de lo esperado. Cuando lo superó, el rendimiento se volvió más impredecible, aunque no siempre empeoró.
A partir de mediados de 2020, la proporción de radiografías tomadas con el paciente acostado o en proyección anteroposterior, frecuente en personas muy graves o que no pueden ponerse de pie, pasó de menos de 20% a más de 40%. En esa posición el corazón se ve más grande de lo que es, y el desempeño del modelo para detectar cardiomegalia cayó de forma notable. El sistema detectó el cambio en los metadatos de las imágenes, antes de que alguien tuviera que revisar caso por caso.
Los autores también compararon su método con otros que se basan en pruebas estadísticas tradicionales, y encontraron que estos generan alertas frecuentes por cambios sin importancia práctica cuando se analizan grandes volúmenes de datos. Observaron además que cada área del hospital se comporta distinto: en urgencias, el cambio fue de fondo, pero en un quirófano ambulatorio la señal reflejó sobre todo que se hicieron menos estudios. Una vez que el cambio se estabiliza y se audita, el sistema puede recalibrarse para tomar la nueva situación como referencia.
Asimismo, los autores reconocen las limitaciones del estudio, especialmente porque se realizó en un solo hospital y con un solo tipo de imagen, las etiquetas de los nueve hallazgos se generaron con un modelo de lenguaje a partir de los informes de radiología, y los propios autores indican que un indicador alto alerta de un posible problema pero no confirma que haya uno. Proponen evaluarlo en otras modalidades de imagen y estudiar cómo definir alertas útiles sin saturar al personal. Los autores de Microsoft declaran un posible conflicto de intereses, ya que la empresa desarrolla soluciones de monitoreo de IA y varios son inventores de una solicitud de patente relacionada.
