Un modelo de aprendizaje automático fue sometido a una validación externa para predecir la mortalidad a seis meses en pacientes con tumores sólidos avanzados.
El pronóstico de enfermedades basado en aprendizaje automático o machine learning (ML) ha demostrado ser una herramienta prometedora para facilitar las conversaciones sobre enfermedades graves entre médicos y pacientes. Para mejorar las conversaciones entre profesionales de la salud y pacientes con cáncer avanzado en puntos de decisión del tratamiento (TDP, en inglés), un equipo previamente desarrolló y validó internamente un modelo de ML que clasifica a los pacientes en baja o alta probabilidad de sobrevivir los próximos seis meses si inician una nueva línea de terapia.
El modelo toma en cuenta 45 características derivadas de datos de registros electrónicos de salud utilizando el estándar Fast Healthcare Interoperability Resources (FHIR), lo que garantiza interpretabilidad e interoperabilidad. Este modelo busca implementarse en una herramienta para comunicar y explicar de manera transparente el pronóstico de la enfermedad basado en ML.
En este sentido, la validación externa de un modelo de ML es crucial para garantizar su confiabilidad antes de su implementación clínica, el objetivo de los investigadores fue validar externamente el modelo tomando en cuenta datos de pacientes recientes.
Este estudio realizó la validación externa utilizando datos de registros electrónicos de salud extraídos del almacén de datos de University of Utah Health correspondientes al 12 de octubre de 2022. Sin embargo, en primera instancia el modelo ML se entrenó originalmente en TDP del 1 de junio de 2014 al 1 de junio de 2020 y los investigadores evaluaron TDP recién identificados entre el 2 de junio de 2020 y el 12 de abril de 2022.
El análisis evaluó el rendimiento del modelo utilizando el área bajo la curva y se determinó el valor predictivo positivo, el valor predictivo negativo, la sensibilidad y la especificidad en el umbral de riesgo predeterminado del 0.3. Asimismo, calculó métricas de calidad, como las derivaciones para cuidados paliativos u hospitalización, para pacientes clasificados con baja probabilidad de supervivencia.
Los resultados mostraron que, un total de 1822 pacientes experimentaron 2613 TDPs. Los conjuntos de datos de desarrollo (4192, pacientes) y validación (1822, pacientes) eran similares, excepto que los pacientes en el conjunto de validación eran más jóvenes y con diferentes proporciones de tipos de cáncer. De esta forma, no hubo diferencia significativa en las tasas de mortalidad a seis meses después de los TDP.
El modelo registró un buen rendimiento en los datos de validación con un AUC de 0.80, similar a los resultados de la fase de desarrollo. Además, identificó una baja probabilidad de supervivencia en el 8.7% de los TDPs. Entre los TDPs para pacientes con baja probabilidad de supervivencia, los autores realizaron anotaciones para cuidados paliativos, hospicio y hospitalización.
Los resultados de este estudio respaldan la necesidad de una herramienta para facilitar conversaciones sobre enfermedades graves mientras pacientes y profesionales consideran nuevas líneas de terapia contra el cáncer. Este modelo de ML demostró un buen rendimiento predictivo en datos recientes, similar a la fase de desarrollo. No obstante, al igual que la gran parte de los estudios clínicos, los resultados están limitados por los datos de una sola fuente y la falta de diversidad racial y étnica de los participantes. Por ello los autores siguieren diversas evaluaciones en múltiples sistemas de salud para determinar su efectividad con mayor precisión.
