El Desarrollo y evaluación de los grandes modelos de lenguaje para su uso en entornos médicos.
El uso de grandes modelos de lenguaje (LLMs, en inglés) ha desbloqueado oportunidades para la atención médica, desde la síntesis de información hasta el apoyo en la toma de decisiones clínicas. Los LLMs no solo son capaces de modelar el lenguaje, sino que también pueden actuar como agentes inteligentes que interactúan con partes interesadas en conversaciones abiertas e incluso influyen en la toma de decisiones clínicas.
Los agentes LLM pueden ser modelados en simulaciones de alta fidelidad de entornos clínicos y deben ser evaluados por su impacto en los flujos de trabajo y entornos clínicos reales. En este sentido existen marcos de evaluación, que se denominan “Exámenes Clínicos Estructurados de Inteligencia Artificial” o AI-SCE. Los AI-SCE pueden basarse en tecnologías comparables donde las máquinas operan con diferentes grados de auto gobernanza, como los autos autónomos, en entornos dinámicos con múltiples partes interesadas. El desarrollo de estas evaluaciones clínicas robustas y del mundo real es crucial para implementar agentes LLM en entornos médicos reales.
Los posibles usos de los agentes LLM en entornos clínicos, incluyen su integración en sistemas de salud electrónicos para la comunicación con pacientes y la asistencia en la toma de decisiones clínicas. Se resalta la importancia de adaptar estos agentes a diferentes casos de uso clínico y de garantizar su interoperabilidad con otros sistemas y herramientas médicas.
Es decir, los agentes LLM pueden desarrollarse para una variedad de casos de uso clínico al proporcionar al LLM acceso a diferentes fuentes de información y herramientas, incluidas pautas clínicas, bases de datos que contienen registros de salud electrónicos, calculadoras clínicas u otras herramientas de software clínico. Los agentes pueden responder a las solicitudes de los usuarios identificando y recuperando información relevante de manera autónoma, o realizando análisis de múltiples pasos para responder preguntas, modelar datos o producir visualizaciones.
Por otro lado, para evaluar la utilidad y seguridad de los chatbots basados en LLM como agentes en estas aplicaciones, requiere el uso de benchmarks, es decir estándares o pintos de referencia que son utilizados para evaluar el rendimiento o la eficacia de los LLM, que no se limiten a evaluaciones tradicionales.
Especialistas proponen el uso de enfoques del modelado basado en agentes (ABM, en inglés) para crear un entorno simulado para la evaluación efectiva de los agentes LLM. El ABM es un marco computacional que simula las acciones e interacciones de agentes autónomos para proporcionar información sobre el comportamiento y los resultados del sistema. Cabe destacar que este enfoque se ha utilizado exitosamente en políticas de salud, biología y ciencias sociales para realizar estudios que simulan comportamientos de salud y la propagación de enfermedades infecciosas.
Al igual que los estándares y regulaciones necesarios para la industria de la conducción autónoma, es importante la identificación de pautas clínicas para una interacción exitosa para los agentes LLM de atención médica. Especialmente para cumplir con los objetivos a largo plazo de pacientes, proveedores y otras partes interesadas.
Asimismo, en la educación médica, se han experimentado cambios en la evaluación de los estudiantes utilizando pruebas estandarizadas que evalúan el razonamiento clínico superficial a currículos modernos. Estos exámenes evalúan las habilidades prácticas de los estudiantes en sus prácticas clínica, incluida su capacidad para examinar pacientes, tomar historias clínicas, comunicarse de manera efectiva y manejar situaciones inesperadas.
En conclusión, es importante desarrollar y evaluar los LLM para su uso en entornos clínicos, ya que estos modelos pueden transformar la práctica clínica. Es necesario utilizar enfoques de robustos para su evaluación y garantizar la eficacia y seguridad de estos modelos en los diversos entornos clínicos.
