CliniSense AI transcribe y analiza consultas médicas de forma automática, alcanzando un nivel de concordancia con evaluadores humanos superior al promedio de los propios evaluadores, con retroalimentación en menos de 1.5 segundos.
Investigadores del Departamento de Ingeniería Industrial y de Sistemas y del Departamento de Medicina Familiar de la Universidad de Tennessee desarrollaron CliniSense AI, un sistema de inteligencia artificial diseñado para evaluar de manera automática las habilidades clínicas de médicos residentes a partir del audio de sus consultas. El trabajo, firmado por Anam Nawaz Khan, José Tupayachi, William Dabbs, Shaunta Chamberlin, Bing Yao y Xueping Li, fue publicado en npj Digital Medicine.
Los autores señalan que la evaluación tradicional de competencias clínicas mediante los Exámenes Clínicos Objetivos Estructurados (OSCE, en inglés) presenta una confiabilidad entre evaluadores de apenas 0.35 a 0.58 según el coeficiente kappa de Cohen, además de retrasos de días o semanas para que los residentes reciban retroalimentación. CliniSense AI busca resolver estas limitaciones mediante un proceso automatizado que integra reconocimiento de voz, identificación de hablantes, clasificación de competencias y generación de reportes, todo ejecutado en hardware portátil sin necesidad de transcripción manual.
El sistema evalúa cuatro dimensiones clínicas definidas por el marco Wagner-Lypson, adaptado de las competencias establecidas por el Consejo de Acreditación para la Educación Médica de Posgrado (ACGME, en inglés): recopilación de información, razonamiento diagnóstico verbalizado, coordinación de equipo y procedimientos, y comunicación con el paciente. En una evaluación con 270 consultas médicas simuladas disponibles públicamente, el modelo de clasificación alcanzó un coeficiente kappa de Cohen de 0.824 frente al consenso de anotadores humanos, superando el promedio de concordancia entre evaluadores individuales, que fue de 0.721. El sistema procesó el audio con una tasa de error de palabra de 16.65% en modo completo y de 10.85% en modo de transmisión en vivo, con una latencia de menos de 1.5 segundos en 95.5% de los enunciados analizados.
El análisis de errores reveló que la categoría de comunicación fue la más difícil de clasificar correctamente, concentrando 67.8% de los errores del sistema, principalmente por confundir intercambios empáticos breves, de un promedio de 18 palabras, con simples preguntas de recopilación de información. En contraste, las categorías de recopilación de datos y coordinación de equipo alcanzaron niveles de concordancia cercanos a la perfección, con coeficientes kappa de 0.906 y 0.913 respectivamente, lo que según los autores permite habilitar retroalimentación automática sin revisión obligatoria de un docente en esas dos dimensiones.
Aplicado a 58 conversaciones completas, el sistema generó calificaciones promedio de 90.6 puntos sobre 100, con una tasa de aprobación de 98.3%. Los investigadores destacan que la herramienta logró identificar un patrón invisible para la observación periódica tradicional: en 10.3% de las consultas, el médico recopiló información clínica relevante sin verbalizar un diagnóstico diferencial o impresión clínica al paciente, un fenómeno que la literatura de educación médica reconoce como razonamiento clínico no expresado.
El sistema se encuentra en fase de validación clínica prospectiva en el Centro Médico de la Universidad de Tennessee, con dispositivos Raspberry Pi 5 instalados en consultorios reales de medicina familiar. Los propios autores advierten que el conjunto de datos utilizado para entrenar el modelo está compuesto en 78.7% por casos de medicina respiratoria, por lo que la validación en poblaciones clínicas más diversas y la evaluación de sesgos según acento, dialecto y características demográficas de los pacientes son pasos pendientes antes de un despliegue más amplio.
