{"id":50894,"date":"2025-01-03T12:16:49","date_gmt":"2025-01-03T18:16:49","guid":{"rendered":"https:\/\/saluddigital.com\/?p=50894"},"modified":"2025-10-17T20:35:16","modified_gmt":"2025-10-18T02:35:16","slug":"investigadores-disenan-una-prueba-mas-confiable-para-evaluar-la-comunicacion-clinica-de-la-ia","status":"publish","type":"post","link":"https:\/\/saluddigital.com\/en\/big-data\/investigadores-disenan-una-prueba-mas-confiable-para-evaluar-la-comunicacion-clinica-de-la-ia\/","title":{"rendered":"Investigadores dise\u00f1an una prueba m\u00e1s confiable para evaluar la comunicaci\u00f3n cl\u00ednica de la IA"},"content":{"rendered":"
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

Cient\u00edficos de Harvard y Stanford desearon un marco de evaluaci\u00f3n para medir la capacidad de la IA en entornos m\u00e9dicos reales. <\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Herramientas de inteligencia artificial (IA) generativa uy grandes modelos de lenguaje (LLM, en ingl\u00e9s), como ChatGPT, Gemini, entre otras se han comenzado a utilizar como una soluci\u00f3n para aliviar la carga de trabajo de m\u00e9dicos mediante la clasificaci\u00f3n de pacientes, la revisi\u00f3n y elaboraci\u00f3n de historias cl\u00ednicas e incluso para ciertos tipos de diagn\u00f3sticos preliminares. Los LLM se utilizan para interpretar s\u00edntomas o pruebas m\u00e9dicas, sin embargo, su aplicaci\u00f3n en entornos cl\u00ednicos genera dudas en la comunidad m\u00e9dica y cient\u00edfica.<\/p>

Seg\u00fan una nueva investigaci\u00f3n de Harvard y Stanford, publicada el 2 de enero en Nature Medicine<\/em><\/a>, el desempe\u00f1o de estos modelos no es tan bueno en situaciones que imitan al mundo real. El estudio detalla el dise\u00f1o de un nuevo marco de evaluaci\u00f3n denominado Conversational Reasoning Assessment Framework for Testing in Medicine (CRAFT-MD), y fue probado en cuatro LLM para evaluar su desempe\u00f1o en interacciones reales con pacientes.<\/p>

Seg\u00fan los autores, los LLMs, como GPT-4, tienen el potencial de transformar las interacciones entre m\u00e9dicos y pacientes al facilitar diagn\u00f3sticos m\u00e1s r\u00e1pidos y precisos. Sin embargo, su preparaci\u00f3n para ser aplicados en escenarios cl\u00ednicos reales es insuficiente, ya que las evaluaciones tradicionales suelen enfocarse en pruebas estructuradas, alejadas de las conversaciones naturales entre m\u00e9dico y paciente.<\/p>

A trav\u00e9s de CRAFT-MD, los investigadores evaluaron los LLMs mediante di\u00e1logos simulados entre agentes de IA. Este enfoque permite analizar c\u00f3mo los modelos se desempe\u00f1an en interacciones naturales, incluyendo su capacidad para tomar el historial m\u00e9dico y razonar de forma conversacional.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t

\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

En este sentido, utilizando CRAFT-MD, los autores investigadores probaron modelos como GPT-4, GPT-3.5, Mistral y LLaMA-2-7b en 12 especialidades m\u00e9dicas. Tambi\u00e9n evaluaron la capacidad multimodal de GPT-4V, que combina texto e im\u00e1genes. Los resultados mostraron limitaciones significativas en la precisi\u00f3n de los diagn\u00f3sticos, la calidad de las preguntas abiertas y la capacidad de razonamiento cl\u00ednico conversacional de los modelos.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t

\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"cl\u00ednica\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Bas\u00e1ndose en los hallazgos, los autores proponen un conjunto de recomendaciones para mejorar la evaluaci\u00f3n de los LLMs en contextos cl\u00ednicos:<\/p>