Una herramienta de IA desarrollada por investigadores de Stanford Medicine combina el uso de datos de imágenes médicas con texto para predecir el pronóstico de cáncer y las respuestas al tratamiento.
La información visual obtenida de imágenes microscópicas, de rayos X, tomografías computarizadas o de resonancias magnéticas combinada con texto, es decir, notas de exámenes, comunicaciones entre médicos de distintas especialidades, es un recurso clave en la atención oncológica. La inteligencia artificial (IA) es una herramienta clave para mejorar esta técnica. Un estudio reciente realizado por Stanford Medicine, publicado en Nature, describe el desarrollo de un modelo predictivo de IA que combina datos visuales y textuales para mejorar la toma de decisiones clínicas en oncología.
Este estudio describe el desarrollo de MUSK – Multimodal Transformer with Unified maSKed modeling, un modelo de IA diseñado específicamente para aplicaciones en oncología de precisión, combinando datos visuales (imágenes de patología) y textuales (informes clínicos) para mejorar la toma de decisiones clínicas.
En primer lugar, el estudio detalla que, la precision medicine requiere integrar múltiples tipos de datos, como notas clínicas y características patológicas, pero la falta de conjuntos de datos multimodales bien etiquetados ha limitado el desarrollo de modelos de IA. MUSK aborda este desafío utilizando grandes volúmenes de datos no etiquetados y no pareados.
Para el preentrenamiento fueron utilizadas 50 millones de imágenes de patología de 11,577 pacientes y mil millones de tokens textuales relacionados con patología. Posteriormente fue implementado un método llamado unified masked modeling, que oculta partes de las imágenes y textos para entrenar al modelo a reconstruirlas, fomentando un aprendizaje robusto. Luego se entrenó adicionalmente con un millón de pares imagen-texto, permitiendo al modelo correlacionar y combinar eficazmente características visuales y textuales.
“MUSK puede predecir con exactitud el pronóstico de personas con muchos tipos y estadios diferentes de cáncer”, expresó Ruijiang Li, MD, profesor asociado de oncología radioterápica en Stanford. “Diseñamos MUSK porque, en la práctica clínica, los médicos nunca se basan en un solo tipo de datos para tomar decisiones clínicas. Queríamos aprovechar múltiples tipos de datos para obtener más información y conseguir predicciones más precisas sobre los resultados de los pacientes”, agregó.
MUSK fue probado en 23 tareas diferentes a nivel de imágenes pequeñas y a nivel de diapositivas completas. Entre las funcionalidades de MUSK resaltan:
- Recuperación de información: Buscar texto a partir de imágenes y viceversa
- Respuesta a preguntas visuales: Responder preguntas sobre una imagen patológica
- Clasificación de imágenes: Identificar tipos de tejidos o patologías
- Predicción de biomarcadores moleculares: Detectar indicadores genéticos importantes para el tratamiento
- Predicciones clínicas: Predicción de recaídas en melanoma; pronóstico general para múltiples tipos de cáncer; y respuesta a inmunoterapia en cáncer de pulmón y gastroesofágico.
MUSK combina información complementaria de imágenes y textos clínicos, ofreciendo una integración más profunda de datos multimodales. Lo cual podría mejorar significativamente la precisión en el diagnóstico, los pronósticos y la personalización de terapias contra el cáncer.
“Lo que hace único a MUSK es la capacidad de incorporar datos multimodales no emparejados en el preentrenamiento, lo que aumenta sustancialmente la escala de datos en comparación con los datos emparejados que requieren otros modelos”, afirmó Li. “Observamos que, para todas las tareas de predicción clínica, los modelos que integran múltiples tipos de datos superan sistemáticamente a los que se basan únicamente en datos de imagen o de texto. Aprovechar este tipo de datos multimodales no emparejados con modelos de inteligencia artificial como MUSK supondrá un gran avance en la capacidad de la inteligencia artificial para ayudar a los médicos a mejorar la atención al paciente”, concluyó.
