La capacidad de los pacientes para distinguir respuestas de proveedores y chatbots, y la confianza en las funciones de los chatbots fueron analizadas en un estudio reciente.
En el ámbito de la atención médica, se están realizando pruebas piloto con chatbots para redactar respuestas a preguntas de los pacientes. Sin embargo, aún no se ha establecido claramente la habilidad de los pacientes para distinguir entre las respuestas proporcionadas por los proveedores y las generadas por los chatbots, así como la confianza de los pacientes en las funciones de los chatbots.
Un estudio publicado en JMIR Medical Education tuvo como objetivo evaluar la viabilidad de utilizar ChatGPT u otro chatbot basado en inteligencia artificial para la comunicación entre pacientes y proveedores.
Este estudio se llevó a cabo en enero de 2023 utilizando un método de encuestas. Para ellos los investigadores extrajeron diez interacciones representativas entre pacientes y proveedores de salud de los registros electrónicos de salud. Las preguntas de los pacientes se ingresaron en ChatGPT con una solicitud para que el chatbot respondiera utilizando aproximadamente la misma cantidad de palabras que la respuesta del proveedor humano.
Posteriormente, en la encuesta, cada pregunta del paciente fue seguida por una respuesta generada por el proveedor o por ChatGPT. Luego se les informó a los participantes que cinco respuestas fueron generadas por proveedores y las otras cinco por el chatbot. A los participantes se les pidió, y se les incentivó financieramente, a identificar correctamente la fuente de la respuesta. También se les preguntó sobre su confianza en las funciones de los chatbots en la comunicación paciente-proveedor, utilizando una escala de Likert del 1 al 5.
Se reclutó una muestra representativa de 430 participantes todos mayores de 18 años y residentes de Estados Unidos. Finalmente, un total 426 participantes completaron la encuesta y después se eliminaron a los participantes que dedicaron menos de tres minutos a la encuesta, para quedar con 392 encuestados.
En general, el porcentaje de respuestas clasificadas correctamente varió entre el 49% (192 de 392) y el 85.7% (336 de 392) para diferentes preguntas. En promedio, las respuestas de ChatGPT fueron identificadas correctamente en el 65.5% (1284 de 1960) de los casos, y las respuestas de los proveedores humanos fueron identificadas correctamente en el 65.1% (1276 de 1960) de los casos. En promedio, las respuestas sobre la confianza de los pacientes en las funciones de los chatbots fueron positivas pero débiles al alcanzar una puntuación media de Likert de 3.4 de 5, con una menor confianza a medida que aumentaba la complejidad de las tareas relacionadas con la salud en las preguntas.
Las respuestas de ChatGPT a las preguntas de los pacientes fueron débilmente distinguibles de las respuestas de los proveedores. Los resultados del estudio mostraron que las personas confían en el uso de chatbots para responder a preguntas de salud de bajo riesgo. No obstante, según reconocieron los autores, es importante seguir estudiando la interacción paciente-chatbot a medida que los chatbots pasan de desempeñar funciones administrativas a roles más clínicos en la atención médica.
JMIR MEDICAL EDUCATION
