Investigadores médicos evaluaron el rendimiento de ChatGPT en un examen para obtener la licencia médica en Estados Unidos.
Científicos del Hospital General de Massachusetts realizaron una investigación que explora el uso de ChatGPT en la educación médica asistida por este tipo de modelos de IA. El estudio fue publicado en PLOS Digital Health con el título Rendimiento de ChatGPT en USMLE: potencial para la educación médica asistida por IA utilizando grandes modelos lingüísticos. El USMLE o United States Medical Licensing Exam, es el examen estándar de para obtener la licencia médica en Estados Unidos.
ChatGPT es una IA generativa basado en un Modelo de gran aprendizaje o Large-Learning Model (LLM), creado y entrenado para producir textos que simulen una respuesta humana ante diferentes preguntas. Además, a diferencia de otros chatbots, este modelo no tiene la capacidad de hacer búsquedas en la web para generar sus respuestas, sino que las genera a través de sus algoritmos internos.
La Dra. Tiffany Kung, residente en el Departamento de Anestesia, Cuidados Críticos y Cuidados Paliativos en Mass General, es la autora principal de este estudio que contó con la colaboración de AnsibleHealth. La especialista explica que el estudio buscó comprobar el rendimiento de ChatGPT en el USMLE, que es una prueba estandarizada nivel experto.
Asimismo, la Dra. Kung explica que “es crucial garantizar que el desarrollo de la IA clínica se guíe por los principios de confianza y explicabilidad”. En este sentido medir el conocimiento médico de la IA em comparación con el de los humanos es un paso importante para evaluar las verdaderas cualidades de modelos ge IA generativos como ChatGPT.
Las preguntas fueron formuladas en tres variantes:
- Primero indicaciones de preguntas abiertas por ejemplo “¿Cuál sería el diagnóstico del paciente según la información proporcionada?”
- En segundo lugar, hubo preguntas con respuestas únicas de opción múltiple sin justificación. Por ejemplo: “¿Cuál de los siguientes patógenos es causado principalmente por la condición del paciente?”, seguido de las opciones.
- Finalmente, las respuestas únicas de opción múltiple con justificación forzada. Por ejemplo: “¿Cuál de las siguientes es la razón más probable de los síntomas nocturnos del paciente? Explique su justificación para cada opción”.
Además, todas las preguntas se ingresaron a ChatGPT en conversaciones separadas para reducir el sesgo de retención.
“Descubrimos que ChatGPT funcionó en o cerca del umbral de aprobación del 60% de precisión. Siendo el primero en lograr este punto de referencia, esto marca un hito notable en la maduración de la IA. Impresionantemente, ChatGPT pudo lograr este resultado sin el aporte especializado de entrenadores humanos”, explicó la Dra. Kung. Asimismo, reconoció que ChatGPT mostró un razonamiento comprensible y conocimientos clínicos válidos, lo que brindó mayor peso a la confiabilidad y explicabilidad.
Finalmente, la autora resalta el potencial de ChatGPT para ayudar a los estudiantes en entornos de educación médica y para mejorar sus capacidades en la toma de decisiones clínicas.
Consulta el estudio completo en el siguiente enlace: para ayudar a los estudiantes en entornos de educación médica y para mejorar sus capacidades en la toma de decisiones clínicas. https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000198
