Especialistas recomiendan que chatbots como ChatGPT se utilicen con responsabilidad ya que no brindan información certera acerca de tratamientos sobre el cáncer.
Los grandes modelos de lenguaje o large language models (LLM) son capaces de imitar el lenguaje humano y proporcionar respuestas detalladas y coherentes de manera inmediata. Sin embargo, estas cualidades hacen que los chatbots también puedan brindar información que no es precisa. Esto puede ser un problema grave, especialmente si los usuarios de los chatbots realizan preguntas acerca de temas de salud o enfermedades. El auge de los chatbots durante el último año ha interesado a la comunidad médica, especialmente para abordar su uso en la repuesta de preguntas relacionadas con enfermedades.
Recientemente se han publicado estudios que evalúan el uso de chatbots de LLM para responder información sobre enfermedades como el cáncer con la preocupación de que los usuarios los utilicen para la consulta de información médica, lo que podría llevar a la desinformación. Un estudio reciente evaluó el rendimiento de un chatbot para proporcionar información sobre diversos tipos de cáncer: de próstata, de seno, y de pulmón.
Los autores ingresaron 104 indicaciones al modelo GPT 3.5 de OpenAI o mejor conocía como ChatGPT. Las recomendaciones que arrojó este chatbot fueron comparadas por las pautas de la Red Nacional Integral del Cáncer (NCCN, en inglés) de 2021, ya que el chatbot tiene un límite de conocimiento hasta septiembre de 2021.
Asimismo, los autores desarrollaron cinco criterios de puntuación para evaluar la concordancia de las pautas:
- ¿Cuántas recomendaciones de tratamiento fueron proporcionadas?
- ¿Cuántas de las recomendaciones se alinean a las pautas de NCCN 2021?
- ¿Cuántas recomendaciones fueron correctas en su totalidad según las pautas de NCCN 2021?
- ¿Cuántas recomendaciones de tratamiento fueron alucinadas? (es decir, no formaban parte de ningún tratamiento recomendado)
- ¿Cuántas de las recomendaciones alucinadas son ahora recomendadas de acuerdo con las pautas más recientes de NCCN?
El resultado cada respuesta no tenía que recomendar todos los regímenes posibles para ser considerado concordante, es decir la respuesta buscaba incluir al menos una opción de la NCCN. Posteriormente oncólogos certificados evaluaron la concordancia de la respuesta del chatbot.
“Un tercio de los tratamientos recomendados por el chatbot no coincidían al menos parcialmente con las pautas de la NCCN; las recomendaciones variaron según cómo se planteó la pregunta. El desacuerdo entre los anotadores destacó los desafíos de interpretar los resultados descriptivos del LLM”, indicaron los autores.
Los mismos autores explican que los médicos deben advertir a los pacientes que los chatbots de LMM todavía no son una fuente confiable de información sobre tratamientos contra el cáncer. A pesar de que el chatbot no pretende ser una herramienta médica, es posible que los pacientes lo utilicen para consultar información en su autoeducación.
Check the full study at the following link:
https://jamanetwork.com/journals/jamaoncology/fullarticle/2808731
