Un estudio evalúa la precisión de modelos de IA en la identificación de enfermedades complejas.
Investigadores de la Escuela de Medicina de Harvard (HMS) realizaron un estudio comparativo entre modelos de inteligencia artificial (IA) de código abierto y modelos propietarios en el ámbito del diagnóstico médico. Publicado en JAMA Health Forum, el estudio analiza el rendimiento de ambos tipos de modelos en la identificación de enfermedades complejas, con el objetivo de determinar si las soluciones abiertas pueden competir con las desarrolladas por empresas privadas.
Los grandes modelos de lenguaje (LLMs, en inglés) han demostrado capacidades avanzadas en la interpretación de información médica y el apoyo en la toma de decisiones clínicas. En este estudio, los investigadores compararon el rendimiento del modelo de código abierto Llama 3.1 de Meta, de 405 mil millones de parámetros, con GPT-4, el modelo cerrado de OpenAI, evaluándolos en 92 casos clínicos de diagnóstico complejo.
Para evitar sesgos en los resultados, los casos utilizados en la prueba fueron extraídos de publicaciones recientes en la revista New England Journal of Medicine y los modelos no tuvieron acceso a internet durante el proceso. Además, se asignaron puntuaciones de calidad a las respuestas de cada modelo y se analizaron diferencias en sus capacidades para generar diagnósticos diferenciales precisos.
Los resultados mostraron que el modelo de código abierto incluyó el diagnóstico correcto en el 73% de los casos evaluados con datos recientes, mientras que GPT-4 logró un 64% en un conjunto de pruebas similar. En cuanto a la primera opción de diagnóstico sugerida, el modelo abierto fue acertado en el 45% de los casos recientes, superando al modelo cerrado en un 4%. Aunque las diferencias no fueron estadísticamente significativas, el desempeño comparable sugiere que las alternativas de código abierto están cerrando la brecha con las soluciones propietarias o de código cerrado.
“Hasta donde sabemos, es la primera vez que un modelo de IA de código abierto iguala el rendimiento de GPT-4 en casos tan difíciles evaluados por médicos”, explicó el autor principal Arjun Manrai, profesor adjunto de informática biomédica en el Instituto Blavatnik de la HMS. “Es realmente asombroso que los modelos Llama hayan alcanzado tan rápidamente al modelo propietario líder. Los pacientes, los profesionales sanitarios y los hospitales saldrán ganando con esta competencia”, agregó.
Los investigadores destacaron que la principal ventaja de los modelos abiertos radica en la posibilidad de que instituciones médicas personalicen y adapten estos sistemas según sus necesidades específicas, sin comprometer la privacidad de los datos de los pacientes ni depender de proveedores externos. Además, la creciente competencia entre modelos de IA podría democratizar el acceso a herramientas avanzadas de diagnóstico.
“Es probable que el modelo de código abierto resulte más atractivo para muchos directores de información, administradores de hospitales y médicos, ya que hay algo fundamentalmente diferente en el hecho de que los datos salgan del hospital hacia otra entidad, aunque sea de confianza”, expuso el autor principal del estudio, Thomas Buckley, estudiante de doctorado de IA en Medicina del Departamento de Informática Biomédica de la HMS.
El estudio sugiere que los modelos de IA de código abierto podrían convertirse en una alternativa viable para el apoyo diagnóstico en entornos clínicos. A medida que continúan evolucionando, estas tecnologías podrían ofrecer soluciones más accesibles y adaptadas a las necesidades de hospitales e investigadores, sin las restricciones de los sistemas propietarios.
“Utilizadas con prudencia e incorporadas de forma responsable a la infraestructura sanitaria actual, las herramientas de IA podrían ser copilotos inestimables para los clínicos ocupados y servir como auxiliares de diagnóstico de confianza para mejorar tanto la precisión como la velocidad del diagnóstico”, finalizó Manrai.
