Un equipo de investigadores de la Universidad de Búfalo desarrolló una técnica para mejorar el rendimiento de los grandes modelos de lenguaje (LLMs, en inglés) en exámenes médicos utilizando inteligencia artificial (IA) semántica. En un estudio publicado en JAMA Network Open, se probó el método en el Examen para la obtención de la licencia médica en Estados Unidos (USMLE, en inglés), obteniendo resultados superiores al incorporar conocimientos clínicos codificados mediante una estrategia llamada “generación aumentada por recuperación” o RAG.

La integración de conocimientos clínicos estructurados logró elevar el desempeño de LLMs en el USMLE. El estudio evaluó tres versiones del modelo Llama (13B, 70B y 405B) en 313 preguntas del USMLE correspondientes a sus tres etapas. A través de la técnica Semantic Clinical Artificial Intelligence con RAG (SCAI-RAG) se añadieron triples semánticos, es decir estructuras que representan relaciones clínicas como “medicación trata enfermedad”, a las instrucciones que reciben los modelos.

Los resultados mostraron que los modelos mejoraron significativamente su precisión al responder preguntas. El modelo Llama 13B logró pasar la tercera etapa del USMLE tras incorporar SCAI-RAG (60.2%), mientras que los modelos 70B y 405B superaron todas las etapas con y sin el complemento semántico, alcanzando hasta un 95.1% de aciertos.

Por su parte, Peter L. Elkin, autor principal, expresó que: “Como médicos, estamos acostumbrados a usar los ordenadores como herramientas, pero SCAI es diferente; puede añadirse a tu toma de decisiones y a tu pensamiento basándose en su propio razonamiento”.