Un análisis de más de mil dispositivos muestra que gran parte no reporta datos básicos sobre su entrenamiento, desempeño y estudios clínicos.
Un nuevo estudio publicado en npj Digital Medicine journal evaluó qué tan transparente es la información que presentan los dispositivos médicos basados en artificial intelligence (AI) and machine learning or machine learning que han sido aprobados por la Administración de Alimentos y Medicamentos (FDA, en inglés). La investigación analizó 1,012 resúmenes públicos de seguridad y efectividad de dispositivos autorizados entre 1970 y 2024.
Los autores desarrollaron una medida denominada AI Characteristics Transparency Reporting (ACTR), que califica la información presentada en 17 categorías esenciales sobre el desarrollo y desempeño de los modelos de AI. El resultado general fue bajo: el puntaje promedio fue de 3.3 puntos, con un máximo posible de 17. Incluso después de que la FDA publicara sus guías de Buenas Prácticas de Aprendizaje Automático en 2021, la mejora fue modesta, con un aumento promedio de 0.88 puntos.
El estudio identificó importantes vacíos de información. Es decir, casi la mitad de los dispositivos no reportó ningún estudio clínico, y más de la mitad no presentó métricas de desempeño, como sensibilidad o especificidad. Asimismo, más del 90% no detalló el origen de sus datos de entrenamiento y solo una cuarta parte informó características demográficas de las poblaciones utilizadas en sus bases de datos.
Los autores del estudio advierten que estas omisiones pueden dificultar la evaluación independiente de los modelos, limitar su confiabilidad en distintos contextos clínicos y además aumentar el riesgo de sesgos. También señalan que la mayoría de los dispositivos (96.4%) se aprobaron mediante la vía 510(k), un proceso comparativo menos riguroso que otras rutas de evaluación, como De Novo (3.2%) y el Premarket Approval, que es el más exigente y que representó solo el 0.4% de los dispositivos analizados en el restudio.
Aunque las directrices recientes de la FDA recomiendan mayor claridad sobre el desempeño por subgrupos, la procedencia de los datos y los planes de actualización de los modelos, los investigadores concluyen que la transparencia sigue siendo limitada. Como posibles soluciones, proponen estandarizar reportes obligatorios, por ejemplo, a través de una “tarjeta del modelo” pública, y fortalecer la vigilancia posterior a la comercialización para monitorear el comportamiento real de estas herramientas.
El estudio sugiere que, a medida que los dispositivos con AI se vuelven más comunes en la práctica clínica, será necesario adoptar estándares más estrictos que permitan a profesionales de la salud, pacientes y autoridades comprender mejor cómo funcionan y qué nivel de evidencia respalda su uso.
