Investigadores de UCSF y Berkeley evaluaron 99 casos reales de urgencias y encontraron que las síntesis elaboradas con GPT-4o obtuvieron mejores calificaciones en precisión, integridad y utilidad clínica que las escritas por el propio personal médico.
Cuando un paciente llega a urgencias, el médico tiene minutos para condensar toda su historia clínica en una sola frase, conocida como “one-liner”, que resume lo esencial de su padecimiento y antecedentes. Esta tarea, que exige revisar años de expedientes dispersos en distintos formatos, es una de las fuentes de mayor carga cognitiva para el personal de urgencias. Un estudio publicado en PLOS Digital Health encontró que un modelo de lenguaje puede generar estos resúmenes con mejor calidad que los médicos, de acuerdo con la evaluación de especialistas que no sabían cuál texto había sido escrito por cuál autor.
El equipo, liderado por el Dr. Niloufar Golchini y la Dra. Melanie Molina, de la Universidad de California en San Francisco (UCSF) y Berkeley (UC Berkeley), trabajó con 99 casos de pacientes que habían tenido una hospitalización previa y luego acudieron a urgencias. Un modelo GPT-4o generó un resumen de una sola oración para cada caso, tomando como base las notas médicas disponibles, como historias clínicas, reportes de imagen y notas de evolución. Después, 21 médicos de urgencias revisaron, sin saber cuál texto correspondía a cuál autor, un resumen escrito por inteligencia artificial (IA) y otro escrito por el médico tratante, calificando ambos en tres aspectos: precisión, integridad de la información y utilidad para la toma de decisiones clínicas.
Los resúmenes generados por el modelo obtuvieron calificaciones más altas en los tres aspectos evaluados. En precisión, la diferencia fue de 4.18 puntos contra 3.40, en una escala de 5. En integridad, 3.69 contra 3.25, y en utilidad clínica, 3.88 contra 3.21. Al considerar únicamente los casos donde hubo una preferencia clara, los médicos revisores eligieron el resumen generado por IA en 56.8% de las ocasiones.
Una característica que llamó la atención del equipo fue la capacidad del modelo para seleccionar, de forma similar a como lo haría un médico experimentado, qué notas médicas resultaban relevantes para cada caso. El sistema utilizó en promedio poco más de la mitad de la información disponible, y ese porcentaje varió según el motivo de consulta. En pacientes con dificultad para respirar, por ejemplo, el modelo incluyó de forma consistente estudios cardiacos, mientras que en evaluaciones psiquiátricas priorizó notas de evolución y de interconsulta, dejando de lado estudios de imagen que no aportaban valor al caso.
El análisis cualitativo de los comentarios de los médicos reveló que los resúmenes generados por el modelo se apegaban con más fidelidad a lo documentado en el expediente y evitaban inventar información, mientras que los resúmenes médicos aportaban matices de contexto clínico que no siempre quedaban registrados en las notas, como la relevancia de un antecedente específico para el diagnóstico diferencial. Varios revisores señalaron que ambos tipos de resumen contenían información complementaria y que combinarlos podría producir una síntesis más completa.
Los autores identifican como riesgo relevante los errores de ubicación temporal, en los que el modelo podía presentar un padecimiento crónico como si fuera un evento agudo, o atribuir un resultado de un estudio previo a la visita actual. Este tipo de error se redujo de forma considerable al proporcionar al modelo ejemplos de resúmenes previos como referencia, aunque no desapareció por completo. Por esta razón, el equipo advierte sobre el riesgo de sesgo de automatización, es decir, la tendencia del personal médico a confiar en un resultado generado por un sistema automatizado sin revisarlo de forma crítica, un riesgo que consideran particularmente relevante en un entorno de alta presión de tiempo como urgencias.
Entre las limitaciones del estudio, los autores señalan que cada caso fue evaluado por un solo médico revisor, lo que impidió calcular una medida formal de concordancia entre evaluadores. También reconocen una asimetría en el diseño, y es que los médicos que escribieron los resúmenes originales tuvieron acceso a información obtenida directamente con el paciente, como la exploración física y el interrogatorio verbal, que no quedó documentada en las notas proporcionadas a los revisores, lo cual pudo favorecer al modelo en la comparación.
En este sentido, los investigadores concluyen que estos resultados no constituyen evidencia suficiente para el uso clínico de estos sistemas y que se requiere validación prospectiva en entornos reales de trabajo antes de considerar su implementación, con salvaguardas que permitan al personal médico verificar el origen de cada dato incluido en el resumen.
