{"id":44626,"date":"2024-04-10T10:19:21","date_gmt":"2024-04-10T16:19:21","guid":{"rendered":"https:\/\/saluddigital.com\/?p=44626"},"modified":"2025-10-18T21:49:41","modified_gmt":"2025-10-19T03:49:41","slug":"la-importancia-de-evaluar-los-modelos-de-lenguaje-como-agentes-en-la-practica-clinica","status":"publish","type":"post","link":"https:\/\/saluddigital.com\/en\/big-data\/la-importancia-de-evaluar-los-modelos-de-lenguaje-como-agentes-en-la-practica-clinica\/","title":{"rendered":"La importancia de evaluar los modelos de lenguaje como agentes en la pr\u00e1ctica cl\u00ednica"},"content":{"rendered":"
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

El Desarrollo y evaluaci\u00f3n de los grandes modelos de lenguaje para su uso en entornos m\u00e9dicos.<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

El uso de grandes modelos de lenguaje (LLMs, en ingl\u00e9s) ha desbloqueado oportunidades para la atenci\u00f3n m\u00e9dica, desde la s\u00edntesis de informaci\u00f3n hasta el apoyo en la toma de decisiones cl\u00ednicas. Los LLMs no solo son capaces de modelar el lenguaje, sino que tambi\u00e9n pueden actuar como agentes inteligentes que interact\u00faan con partes interesadas en conversaciones abiertas e incluso influyen en la toma de decisiones cl\u00ednicas.<\/p>

Los agentes LLM pueden ser modelados en simulaciones de alta fidelidad de entornos cl\u00ednicos y deben ser evaluados por su impacto en los flujos de trabajo y entornos cl\u00ednicos reales. En este sentido existen marcos de evaluaci\u00f3n, que se denominan \u201cEx\u00e1menes Cl\u00ednicos Estructurados de Inteligencia Artificial\u201d o AI-SCE. Los AI-SCE pueden basarse en tecnolog\u00edas comparables donde las m\u00e1quinas operan con diferentes grados de auto gobernanza, como los autos aut\u00f3nomos, en entornos din\u00e1micos con m\u00faltiples partes interesadas. El desarrollo de estas evaluaciones cl\u00ednicas robustas y del mundo real es crucial para implementar agentes LLM en entornos m\u00e9dicos reales.<\/p>

Los posibles usos de los agentes LLM en entornos cl\u00ednicos, incluyen su integraci\u00f3n en sistemas de salud electr\u00f3nicos para la comunicaci\u00f3n con pacientes y la asistencia en la toma de decisiones cl\u00ednicas. Se resalta la importancia de adaptar estos agentes a diferentes casos de uso cl\u00ednico y de garantizar su interoperabilidad con otros sistemas y herramientas m\u00e9dicas.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t

\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Es decir, los agentes LLM pueden desarrollarse para una variedad de casos de uso cl\u00ednico al proporcionar al LLM acceso a diferentes fuentes de informaci\u00f3n y herramientas, incluidas pautas cl\u00ednicas, bases de datos que contienen registros de salud electr\u00f3nicos, calculadoras cl\u00ednicas u otras herramientas de software cl\u00ednico. Los agentes pueden responder a las solicitudes de los usuarios identificando y recuperando informaci\u00f3n relevante de manera aut\u00f3noma, o realizando an\u00e1lisis de m\u00faltiples pasos para responder preguntas, modelar datos o producir visualizaciones.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t

\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Por otro lado, para evaluar la utilidad y seguridad de los chatbots basados en LLM como agentes en estas aplicaciones, requiere el uso de benchmarks<\/i>, es decir est\u00e1ndares o pintos de referencia que son utilizados para evaluar el rendimiento o la eficacia de los LLM,<\/i> que no se limiten a evaluaciones tradicionales.<\/p>

Especialistas proponen el uso de enfoques del modelado basado en agentes (ABM, en ingl\u00e9s) para crear un entorno simulado para la evaluaci\u00f3n efectiva de los agentes LLM. El ABM es un marco computacional que simula las acciones e interacciones de agentes aut\u00f3nomos para proporcionar informaci\u00f3n sobre el comportamiento y los resultados del sistema. Cabe destacar que este enfoque se ha utilizado exitosamente en pol\u00edticas de salud, biolog\u00eda y ciencias sociales para realizar estudios que simulan comportamientos de salud y la propagaci\u00f3n de enfermedades infecciosas.<\/p>

Al igual que los est\u00e1ndares y regulaciones necesarios para la industria de la conducci\u00f3n aut\u00f3noma, es importante la identificaci\u00f3n de pautas cl\u00ednicas para una interacci\u00f3n exitosa para los agentes LLM de atenci\u00f3n m\u00e9dica. Especialmente para cumplir con los objetivos a largo plazo de pacientes, proveedores y otras partes interesadas.<\/p>

Asimismo, en la educaci\u00f3n m\u00e9dica, se han experimentado cambios en la evaluaci\u00f3n de los estudiantes utilizando pruebas estandarizadas que eval\u00faan el razonamiento cl\u00ednico superficial a curr\u00edculos modernos. Estos ex\u00e1menes eval\u00faan las habilidades pr\u00e1cticas de los estudiantes en sus pr\u00e1cticas cl\u00ednica, incluida su capacidad para examinar pacientes, tomar historias cl\u00ednicas, comunicarse de manera efectiva y manejar situaciones inesperadas.<\/p>

En conclusi\u00f3n, es importante desarrollar y evaluar los LLM para su uso en entornos cl\u00ednicos, ya que estos modelos pueden transformar la pr\u00e1ctica cl\u00ednica. Es necesario utilizar enfoques de robustos para su evaluaci\u00f3n y garantizar la eficacia y seguridad de estos modelos en los diversos entornos cl\u00ednicos.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t

\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/i><\/span>\n\t\t\t\t\t\t\t\t<\/i><\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t BIBLIOGRAPHY<\/a>\n\t\t\t\t\t<\/div>\n\n\t\t\t\t\t

NATURE <\/b><\/p>

https:\/\/www.nature.com\/articles\/s41746-024-01083-y<\/a><\/span><\/p><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<\/div>","protected":false},"excerpt":{"rendered":"

El Desarrollo y evaluaci\u00f3n de los grandes modelos de lenguaje para su uso en entornos m\u00e9dicos. El uso de grandes modelos de lenguaje (LLMs, en ingl\u00e9s) ha desbloqueado oportunidades para la atenci\u00f3n m\u00e9dica, desde la s\u00edntesis de informaci\u00f3n hasta el apoyo en la toma de decisiones cl\u00ednicas. Los LLMs no solo son capaces de modelar el lenguaje, sino que tambi\u00e9n pueden actuar como agentes inteligentes que interact\u00faan con partes interesadas en conversaciones abiertas e incluso influyen en la toma de decisiones cl\u00ednicas. Los agentes LLM pueden ser modelados en simulaciones de alta fidelidad de entornos cl\u00ednicos y deben ser evaluados por su impacto en los flujos de trabajo y entornos cl\u00ednicos reales. En este sentido existen marcos de evaluaci\u00f3n, que se denominan \u201cEx\u00e1menes Cl\u00ednicos Estructurados de Inteligencia Artificial\u201d o AI-SCE. Los AI-SCE pueden basarse en tecnolog\u00edas comparables donde las m\u00e1quinas operan con diferentes grados de auto gobernanza, como los autos aut\u00f3nomos, en entornos din\u00e1micos con m\u00faltiples partes interesadas. El desarrollo de estas evaluaciones cl\u00ednicas robustas y del mundo real es crucial para implementar agentes LLM en entornos m\u00e9dicos reales. Los posibles usos de los agentes LLM en entornos cl\u00ednicos, incluyen su integraci\u00f3n en sistemas de salud electr\u00f3nicos para la comunicaci\u00f3n con pacientes y la asistencia en la toma de decisiones cl\u00ednicas. Se resalta la importancia de adaptar estos agentes a diferentes casos de uso cl\u00ednico y de garantizar su interoperabilidad con otros sistemas y herramientas m\u00e9dicas. Es decir, los agentes LLM pueden desarrollarse para una variedad de casos de uso cl\u00ednico al proporcionar al LLM acceso a diferentes fuentes de informaci\u00f3n y herramientas, incluidas pautas cl\u00ednicas, bases de datos que contienen registros de salud electr\u00f3nicos, calculadoras cl\u00ednicas u otras herramientas de software cl\u00ednico. Los agentes pueden responder a las solicitudes de los usuarios identificando y recuperando informaci\u00f3n relevante de manera aut\u00f3noma, o realizando an\u00e1lisis de m\u00faltiples pasos para responder preguntas, modelar datos o producir visualizaciones. Por otro lado, para evaluar la utilidad y seguridad de los chatbots basados en LLM como agentes en estas aplicaciones, requiere el uso de benchmarks, es decir est\u00e1ndares o pintos de referencia que son utilizados para evaluar el rendimiento o la eficacia de los LLM, que no se limiten a evaluaciones tradicionales. Especialistas proponen el uso de enfoques del modelado basado en agentes (ABM, en ingl\u00e9s) para crear un entorno simulado para la evaluaci\u00f3n efectiva de los agentes LLM. El ABM es un marco computacional que simula las acciones e interacciones de agentes aut\u00f3nomos para proporcionar informaci\u00f3n sobre el comportamiento y los resultados del sistema. Cabe destacar que este enfoque se ha utilizado exitosamente en pol\u00edticas de salud, biolog\u00eda y ciencias sociales para realizar estudios que simulan comportamientos de salud y la propagaci\u00f3n de enfermedades infecciosas. Al igual que los est\u00e1ndares y regulaciones necesarios para la industria de la conducci\u00f3n aut\u00f3noma, es importante la identificaci\u00f3n de pautas cl\u00ednicas para una interacci\u00f3n exitosa para los agentes LLM de atenci\u00f3n m\u00e9dica. Especialmente para cumplir con los objetivos a largo plazo de pacientes, proveedores y otras partes interesadas. Asimismo, en la educaci\u00f3n m\u00e9dica, se han experimentado cambios en la evaluaci\u00f3n de los estudiantes utilizando pruebas estandarizadas que eval\u00faan el razonamiento cl\u00ednico superficial a curr\u00edculos modernos. Estos ex\u00e1menes eval\u00faan las habilidades pr\u00e1cticas de los estudiantes en sus pr\u00e1cticas cl\u00ednica, incluida su capacidad para examinar pacientes, tomar historias cl\u00ednicas, comunicarse de manera efectiva y manejar situaciones inesperadas. En conclusi\u00f3n, es importante desarrollar y evaluar los LLM para su uso en entornos cl\u00ednicos, ya que estos modelos pueden transformar la pr\u00e1ctica cl\u00ednica. Es necesario utilizar enfoques de robustos para su evaluaci\u00f3n y garantizar la eficacia y seguridad de estos modelos en los diversos entornos cl\u00ednicos. BIBLIOGRAF\u00cdA NATURE https:\/\/www.nature.com\/articles\/s41746-024-01083-y<\/p>","protected":false},"author":1,"featured_media":44631,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[156,160],"tags":[145],"class_list":["post-44626","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-big-data","category-noticias","tag-noticias"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/saluddigital.com\/en\/wp-json\/wp\/v2\/posts\/44626","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/saluddigital.com\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/saluddigital.com\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/saluddigital.com\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/saluddigital.com\/en\/wp-json\/wp\/v2\/comments?post=44626"}],"version-history":[{"count":0,"href":"https:\/\/saluddigital.com\/en\/wp-json\/wp\/v2\/posts\/44626\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/saluddigital.com\/en\/wp-json\/wp\/v2\/media\/44631"}],"wp:attachment":[{"href":"https:\/\/saluddigital.com\/en\/wp-json\/wp\/v2\/media?parent=44626"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/saluddigital.com\/en\/wp-json\/wp\/v2\/categories?post=44626"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/saluddigital.com\/en\/wp-json\/wp\/v2\/tags?post=44626"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}