Investigadores de Mass General Brigham realizaron una investigación cuyos resultados mostraron el potencial de la IA generativa en la toma de decisiones clínicas.
El estudio “Evaluación de la utilidad de ChatGPT en todo el flujo de trabajo clínico: estudio de desarrollo y usabilidad” fue publicado en el The Journal of Medical Internet Research (JMIR), y sus resultados mostraron que ChatGPT logró aproximadamente un 72% de precisión en toma de decisiones clínicas generales. El estudio evaluó la capacidad del modelo de lenguaje ChatGPT para realizar posibles diagnósticos, decisiones de gestión de la atención y toma de diagnósticos finales.
“Nuestro artículo evalúa de manera integral el apoyo a la toma de decisiones a través de ChatGPT desde el comienzo del trabajo con un paciente a lo largo de todo el escenario de atención, desde el diagnóstico diferencial hasta las pruebas, el diagnóstico y el manejo”, dijo el autor Marc Succi, de General Mass Brigham.
Asimismo, explicó que, aunque no existen puntos de referencia reales, el desempeño de ChatGPT demostró que está al nivel de un recién graduado de la facultad de medicina, como un pasante o un residente. En este sentido, los grandes modelos de lenguaje (LLM, en inglés) demostraron su potencial para convertirse en una herramienta complementaria para la práctica de la medicina y la toma de decisiones clínicas en sistemas de salud.
El estudio encontró que ChatGPT no solo logró una precisión favorable en la toma de decisiones, sino también una precisión del 77% en la realización de diagnósticos finales. Esto llamó la atención de los autores, ya que consideraron que la IA continúa avanzando a un ritmo acelerado y tiene la capacidad de transformar la industria médica.
No obstante, los autores también reconocieron que todavía no se ha estudiado lo suficiente la capacidad de los LLM pueden ayudar en todo el ámbito de la atención clínica. Este estudio solo muestra el uso de LLM en la asesoría clínica y en la toma de decisiones.
“El estudio se realizó pegando porciones sucesivas de 36 viñetas clínicas publicadas y estandarizadas en ChatGPT. Primero se le pidió a la herramienta que presentara un conjunto de diagnósticos posibles o diferenciales basados en la información inicial del paciente, que incluía edad, sexo, síntomas y si el caso era una emergencia. Luego, a ChatGPT se le proporcionó información adicional y se le pidió que tomara decisiones de gestión y que diera un diagnóstico final, simulando todo el proceso de atención a un paciente real”, explica el estudio.
Posteriormente el equipo de Mass General Brigham comparó la precisión de ChatGPT en el diagnóstico diferencial, las pruebas de diagnóstico, el diagnóstico final y la gestión en un proceso ciego estructurado, otorgando puntos por las respuestas correctas y utilizando evaluando y comparando la relación entre el desempeño de ChatGPT y la información demográfica de la viñeta.
El rendimiento más bajo se registró en la generación de los diagnósticos diferenciales con 60%. Además, en las decisiones de gestión clínica, por ejemplo, sobre cómo determinar qué medicamentos requiere cada paciente, obtuvo una precisión de 68%.
“ChatGPT tuvo problemas con el diagnóstico diferencial, que es el meollo de la medicina cuando un médico tiene que decidir qué hacer. Eso es importante porque nos dice dónde los médicos son verdaderamente expertos y aportan el mayor valor: en las primeras etapas de la atención al paciente con poca información de presentación, cuando se necesita una lista de posibles diagnósticos”, explicó Succi.
Los autores concluyeron que antes de considerar herramientas basadas en LLM como ChatGPT, para su integración en la atención clínica, son necesarias más investigaciones y sobre todo una regulación.
Check the full study at the following link: https://www.jmir.org/2023/1/e48659/
