Un modelo especializado logra identificar con mayor precisión mediciones y relaciones clínicas clave.
Investigadores de la Mayo Clinic y la Universidad de Stanford desarrollaron EchoGraph, un modelo de artificial intelligence (AI) diseñado para analizar de forma automática la calidad y exactitud de los reportes de ecocardiografía. Estos estudios, esenciales para evaluar la estructura y función del corazón, se documentan mediante descripciones en texto libre que incluyen mediciones numéricas y observaciones clínicas. Sin embargo, esa falta de estructura dificulta su uso a gran escala y limita la capacidad de evaluar la precisión de los textos generados por modelos de lenguaje en aplicaciones médicas.
El estudio, publicado en npj Digital Medicine journal, detalla que, EchoGraph fue entrenado con 600 reportes de ecocardiografía de Mayo Clinic, densamente anotados con más de 48 mil entidades clínicas y casi 30 mil relaciones. Este nivel de detalle permitió desarrollar un esquema de extracción capaz de identificar no solo anatomía y hallazgos, sino también mediciones numéricas, un componente fundamental para la interpretación de estudios cardiológicos. El modelo mostró un desempeño sólido al predecir entidades y relaciones en los reportes originales, y mantuvo su capacidad al ser probado en un conjunto independiente de reportes del proyecto MIMIC, lo que sugiere que es generalizable a otros entornos.
Uno de los aportes principales del estudio es la creación de una métrica basada en EchoGraph que evalúa la coherencia factual de los reportes, especialmente de aquellos generados por AI. Esta métrica asigna mayor peso a las mediciones numéricas y a las relaciones clínicas más relevantes, logrando detectar errores con una sensibilidad superior a la de RadGraph, una herramienta utilizada ampliamente en radiología. En experimentos con reportes sintéticamente modificados, EchoGraph mostró reducciones marcadas en su puntuación ante errores en valores numéricos o términos direccionales, mientras que RadGraph apenas registró cambios. La validación con cardiólogos confirmó esta mayor sensibilidad, con un nivel de correlación más alto entre los errores reales y las puntuaciones producidas por el nuevo sistema.
El estudio destaca que la precisión de EchoGraph se ve influida por la complejidad de su esquema de anotación, ya que trabajar con frases completas, en lugar de palabras aisladas, incrementa la posibilidad de discrepancias en la detección de entidades. Aun así, el modelo logró un buen desempeño incluso en categorías poco frecuentes, y sus errores se concentraron principalmente en diferencias mínimas en los límites textuales de las entidades. Los autores reconocen limitaciones, como el uso de datos de centros de alta especialidad, la necesidad de grandes esfuerzos de anotación manual y la falta de compatibilidad con reportes en otros idiomas o que siguen diferentes estilos de redacción.
EchoGraph representa un avance relevante para la evaluación automatizada de reportes clínicos en cardiología. Su capacidad para identificar con precisión mediciones y relaciones significativas lo convierte en una herramienta útil para supervisar y mejorar la calidad de los textos generados por modelos de lenguaje, así como para facilitar la investigación con grandes bases de datos de ecocardiografía. Según los autores, este enfoque puede contribuir al desarrollo de aplicaciones de inteligencia artificial más seguras y confiables en el ámbito de las imágenes cardíacas.
