Investigadores de la Universidad de Ulsan evaluaron Claude Sonnet 4, Gemini 2.5 Pro, GPT-4o y LLaMA 3.1-70B con datos del Servicio Nacional de Seguro de Salud de Corea del Sur, y encontraron que la precisión de los modelos depende en gran medida del diseño de las instrucciones utilizadas.
Un equipo del Departamento de Informática Médica y Estadística de la Universidad de Ulsan, en Seúl, evaluó la capacidad de cuatro grandes modelos de lenguaje (LLM, en inglés) para interpretar resultados de chequeos médicos generales. El estudio, publicado en npj Digital Medicine, utilizó datos del Servicio Nacional de Seguro de Salud de Corea del Sur (NHIS) e incluyó 16 variables clínicas relevantes, entre ellas glucosa en ayuno, colesterol, triglicéridos, presión arterial, hemoglobina y enzimas hepáticas.
Los investigadores probaron los modelos Claude Sonnet 4, Gemini 2.5 Pro, GPT-4o y LLaMA 3.1-70B sin ajuste previo en bases de datos médicas especializadas, es decir, en su versión de uso general. Encontraron que la precisión inicial, obtenida con instrucciones simples y sin ejemplos de referencia, promedió 69%. Sin embargo, al combinar distintas estrategias de instrucción, entre ellas asignar un rol específico al modelo, incluir ejemplos de casos reales y establecer límites numéricos claros, la precisión promedio subió a 92%. La adición de una técnica llamada cadena de pensamiento, que guía al modelo a través de un razonamiento explícito por pasos, elevó el promedio a 95%.
En el análisis detallado de 10 mil casos, Claude Sonnet 4 y Gemini 2.5 Pro alcanzaron la precisión más alta, con 99%, seguidos de cerca por GPT-4o con 98%. LLaMA 3.1-70B mostró un desempeño inferior, con una precisión promedio de 85%, estadísticamente menor al de los otros tres modelos. Para la mayoría de los marcadores bioquímicos, como glucosa, colesterol total, triglicéridos y enzimas hepáticas, los cuatro modelos lograron una precisión de entre 97% y 100%.
La presión arterial resultó ser el indicador más difícil de clasificar para todos los modelos, con una precisión de entre 61% y 91%, la cual además disminuyó conforme aumentaba la edad de los pacientes analizados. Los autores atribuyen esta dificultad a que la clasificación de la presión arterial requiere integrar valores sistólicos y diastólicos en categorías múltiples, a diferencia de marcadores bioquímicos que suelen depender de un solo valor numérico frente a un rango de referencia.
El análisis por subgrupos reveló sesgos específicos en algunos modelos. Claude Sonnet 4 mostró una precisión más alta para hombres en la evaluación del índice de masa corporal, mientras que LLaMA 3.1-70B presentó diferencias por sexo en las mediciones de proteína en orina, creatinina sérica y gamma-glutamil transferasa. En cuanto a la edad, Claude Sonnet 4 y Gemini 2.5 Pro mostraron una disminución en la precisión de la evaluación de presión arterial en personas de mayor edad, mientras que LLaMA 3.1-70B mostró variabilidad relacionada con la edad en las mediciones de colesterol de baja densidad y hemoglobina. GPT-4o fue el único modelo que no mostró diferencias estadísticamente significativas por edad en ninguna variable.
Los investigadores destacan que el estudio se limitó a datos estructurados de chequeos médicos, sin incorporar el historial clínico de los pacientes ni tratamientos concomitantes, lo que restringe su aplicabilidad clínica directa. Señalan además que el análisis se basó en el programa nacional de tamizaje de salud de Corea del Sur, cuyos rangos de referencia difieren de los utilizados en otros países e instituciones, por lo que la validación en poblaciones multiétnicas y multilingües resulta necesaria antes de considerar una aplicación más amplia. Los autores subrayan que los hallazgos deben considerarse exploratorios y no sustituyen el juicio médico ni el diagnóstico clínico integral.
