Un metaanálisis mostró que los modelos de aprendizaje automático superan en promedio a las herramientas diagnósticas tradicionales para predecir sepsis, aunque persisten dudas sobre su fiabilidad clínica.
Un equipo de investigadores del Departamento de Enfermedades Infecciosas del Alfred Care Group y la Universidad Monash, en Melbourne, Australia, publicó una revisión sistemática y metaanálisis en red sobre el desempeño de los modelos de inteligencia artificial (IA) y aprendizaje automático o machine learning para la predicción de sepsis. La sepsis es definida por los autores como una enfermedad potencialmente mortal, resultado de una respuesta inmunitaria desregulada frente a una infección, cuya supervivencia depende de forma crítica del diagnóstico y la intervención oportunos.
El estudio, publicado en npj Digital Medicine, incluyó 53 investigaciones que en conjunto abarcaron más de 7 millones de ingresos hospitalarios de pacientes, tras un proceso de búsqueda que identificó inicialmente 6 mil 4 artículos en cinco bases de datos clínicas y una base de datos de ciencias de la computación. Del total de estudios incluidos, 92.5% tuvo un diseño retrospectivo, 41.5% se realizó en poblaciones de unidades de cuidados intensivos y solo 32.1% contó con una cohorte de validación externa.
El área bajo la curva (AUC) combinada para los modelos de mejor desempeño fue de 0.88, frente a 0.73 obtenido por los sistemas de apoyo a la decisión clínica utilizados como comparador principal. Los modelos de aprendizaje automático mostraron una sensibilidad combinada de 77.2% y una especificidad de 84.7%. Sin embargo, el valor predictivo positivo fue notablemente bajo, de apenas 34.2%, lo que según los autores representa un riesgo considerable de fatiga por alarmas entre el personal clínico.
Los árboles de decisión y los modelos de tipo ensamble, que combinan varios algoritmos, se ubicaron entre los de mejor desempeño en el metaanálisis en red. Luego de comparar directamente contra los sistemas de apoyo a la decisión clínica, los modelos de ensamble mostraron una diferencia media de 0.158 y los árboles de decisión una diferencia media de 0.122. En el análisis de metarregresión, el uso de un modelo de árbol de decisión fue la única variable que se asoció de forma significativa con una mejora en el desempeño, con un coeficiente de 0.063.
El estudio también evaluó el desempeño de los modelos según la ventana de predicción, es decir, el tiempo de anticipación respecto al inicio real de la sepsis. Los modelos que detectaron la sepsis en el momento de su inicio obtuvieron un AUC combinado de 0.856, mientras que aquellos capaces de predecirla con 4, 6 y 12 horas de anticipación mostraron valores de 0.816, 0.857 y 0.807, respectivamente, aunque esta tendencia no resultó estadísticamente significativa ni consistente en su dirección.
Los autores documentaron una heterogeneidad extrema entre los estudios incluidos, con una métrica superior a 95%, y un amplio intervalo de predicción del 95%, que rondó entre -0.06 y 0.30 para la diferencia de desempeño entre los modelos de IA y las herramientas tradicionales. Esto significa que, aunque los modelos de aprendizaje automático resultaron superiores en promedio, su beneficio podría ser sustancial en algunos contextos clínicos y nulo o incluso negativo en otros.
La evaluación de calidad y riesgo de sesgo, realizada con el instrumento PROBAST+AI, mostró que solo 18 de los 53 estudios, equivalentes a 33.9%, presentaron alta calidad general y bajo riesgo de sesgo. Entre las principales preocupaciones identificadas se encuentran el uso de bases de datos públicas compartidas, como MIMIC-III, empleada en 12 de los estudios, lo que según los autores podría llevar a una subestimación de la varianza combinada; el manejo inconsistente de datos faltantes; y la falta de mecanismos claros para abordar el desequilibrio entre clases en los conjuntos de datos.
Con la prevalencia mediana de sepsis observada en los estudios, de 11.3%, los modelos mostraron un valor predictivo negativo alto, de 97.0%, pero un valor predictivo positivo bajo, de 34.2%. Los autores concluyeron que, a esta prevalencia, los modelos son efectivos para descartar sepsis, pero una proporción significativa de los resultados positivos podría corresponder a falsos positivos que requerirían confirmación clínica adicional.
El equipo de investigación concluyó que los algoritmos de aprendizaje automático, en particular los modelos interpretables como los árboles de decisión, superaron en promedio a los sistemas de puntuación existentes para la predicción de sepsis. No obstante, señalaron que esta promesa se ve actualmente comprometida por la heterogeneidad sustancial entre estudios, la validación externa insuficiente, los amplios intervalos de predicción y el alto riesgo de sesgo detectado en la literatura primaria, lo que genera incertidumbre sobre la generalización y la preparación clínica real de estos modelos.
Los investigadores plantearon que los esfuerzos futuros deben orientarse hacia la traducción e implementación de estos modelos en la práctica clínica, en lugar de continuar priorizando su desarrollo, con el fin de determinar su impacto real sobre los resultados de los pacientes y sobre medidas de proceso como el tiempo hasta la administración de antibióticos.
