Especialistas adiverten que las respuestas técnicamente correctas de los chatbots pueden ser médicamente inapropiadas cuando ignoran el contexto clínico del paciente.
Cada vez más personas recurren a la artificial intelligence (AI) para resolver dudas sobre su salud, debido a la gran oferta de chatbots basados en AI disponibles en tiendas de aplicaciones móviles y a que los buscadores convencionales, como Google, muestran resultados y resúmenes generados con esta tecnología en su resultados. Se estima que más de 230 millones de personas al año consultan chatbots médicos.
La promesa es clara, respuestas rápidas, accesibles y en lenguaje sencillo. Sin embargo, un análisis reciente, realizado por investigadores de Duke, advierte que el verdadero riesgo no siempre está en los errores evidentes, sino en respuestas que parecen correctas, pero que pueden ser peligrosas por falta de contexto.
En Duke, la investigadora Monica Agrawal, profesora asistente de bioestadística y bioinformática, estudia miles de conversaciones reales entre pacientes y chatbots para entender cómo se utilizan estas herramientas y en qué punto pueden fallar. Su equipo creó la base de datos HealthChat-11K, que reúne 11 mil conversaciones relacionadas con 21 especialidades médicas, con el objetivo de analizar patrones de riesgo y abrir el acceso a otros investigadores.
Más allá de las llamadas “alucinaciones”, es decir, cuando la AI inventa datos, el equipo identificó un problema más sutil, ya que muchos modelos ofrecen respuestas técnicamente correctas, pero médicamente inapropiadas porque no consideran el historial clínico, la gravedad de los síntomas o el contexto personal del usuario. A diferencia de los exámenes estandarizados con los que suelen evaluarse estos modelos, las preguntas reales de los pacientes son emocionales, imprecisas y a veces peligrosas.
Los investigadores señalan que los modelos de lenguaje tienden a complacer al usuario. En lugar de cuestionar suposiciones equivocadas, pueden reforzarlas. Por ejemplo, ante preguntas como “Creo que tengo esta enfermedad, ¿qué debo hacer?” o “¿Qué dosis debo tomar para mi condición?”, el chatbot puede responder sin verificar si el diagnóstico inicial es correcto.
En un caso documentado, un usuario pidió instrucciones para realizar un procedimiento médico en casa. Aunque el chatbot advirtió que debía hacerlo un profesional, posteriormente ofreció instrucciones paso a paso, algo que claramente no sucedería con un médico humano.
Para profundizar en estas diferencias, Agrawal y su equipo ahora analizan intercambios entre pacientes y médicos verificados en el foro “askdocs” de Reddit. El objetivo es comparar cómo responden los clínicos frente a cómo lo hace la inteligencia artificial. Según Ayman Ali, residente quirúrgico que colabora en el proyecto, los médicos están entrenados para “leer entre líneas” y reformular preguntas cuando detectan supuestos incorrectos o riesgos implícitos, algo que los modelos actuales no hacen de manera consistente.
Los expertos recomiendan utilizar los chatbots como un primer acercamiento informativo, pero no como una fuente definitiva de diagnóstico o tratamiento. También sugieren verificar las fuentes citadas y consultar siempre con un profesional de la salud antes de tomar decisiones importantes. Otra estrategia más segura es usar la AI para interpretar documentos médicos oficiales, como guías clínicas, en lugar de pedir recomendaciones directas de tratamiento.
