Un estudio revela que incluso los sistemas más precisos, como GPT-4o, pueden generar información médica falsa cuando se les presenta un detalle inventado.
Los grandes modelos de lenguaje (LLM, en inglés) se están integrando cada vez más en la práctica médica, desde la redacción de notas clínicas hasta la interpretación de datos. Sin embargo, un nuevo estudio publicado en Nature Communications advierte que estas herramientas son altamente susceptibles a “ataques de alucinación adversarial” o adversarial hallucination attacks,, un fenómeno en el que detalles falsos incluidos en la consulta provocan que el sistema los acepte y amplíe, generando información incorrecta que podría comprometer la atención al paciente.
La investigación, liderada por la Facultad de Medicina Icahn de Mount Sinai, evaluó seis LLM, incluyendo opciones comerciales y de código abierto, mediante 300 casos clínicos ficticios, cada uno con un único dato inventado, como una prueba de laboratorio inexistente, un signo clínico falso o una enfermedad ficticia. Estos casos se presentaron en versiones cortas y largas para analizar si la extensión influía en la aparición de errores.
En total, se generaron 5 mil 400 respuestas bajo tres condiciones: configuración estándar, un prompt de mitigación diseñado para reducir errores y un ajuste de temperatura en cero para limitar las salidas especulativas. Los resultados mostraron que las tasas de alucinación oscilaron entre el 50% y el 82%, dependiendo del modelo y las condiciones. El prompt de mitigación logró reducir la tasa media de error de 66% a 44%, mientras que modificar la temperatura no tuvo un efecto significativo.
GPT-4o, uno de los principales LLM, fue el modelo con mejor desempeño, con tasas de error cercanas al 50% en condiciones estándar y de alrededor del 23% con el prompt de mitigación. En contraste, el modelo Distilled-DeepSeek superó el 80% de errores. También se observó que los casos más breves tenían una ligera mayor propensión a generar información falsa.
“Lo que vimos en general es que los chatbots de IA pueden ser fácilmente engañados por detalles médicos falsos, ya sea que esos errores sean intencionales o accidentales”, reconoció el autor principal Mahmud Omar, consultor independiente del equipo de investigación. “No solo repetían la información errónea, sino que a menudo la ampliaban, ofreciendo explicaciones seguras para afecciones inexistentes. Lo alentador es que una simple advertencia de una línea añadida al aviso redujo drásticamente esas alucinaciones, lo que demuestra que las pequeñas salvaguardias pueden marcar una gran diferencia” añadió.
Además del análisis cuantitativo, se probó la capacidad de tres modelos para manejar afirmaciones de salud desacreditadas, como el vínculo entre vacunas y autismo. En este escenario, la mayoría de las respuestas fueron correctas, aunque se detectaron excepciones.
“Nuestro objetivo era ver si un chatbot funcionaría con información falsa si se deslizaba en una pregunta médica, y la respuesta es sí”, expresó el coautor principal Eyal Klang, jefe de IA Generativa en el Departamento Windreich de Inteligencia Artificial y Salud Humana en Icahn. “Incluso un solo término inventado podía desencadenar una respuesta detallada y decisiva basada totalmente en la ficción. Pero también descubrimos que el sencillo y oportuno recordatorio de seguridad integrado en el aviso marcaba una diferencia importante, ya que reducía esos errores casi a la mitad. Eso nos dice que estas herramientas pueden ser más seguras, pero sólo si nos tomamos en serio el diseño de los avisos y las salvaguardias incorporadas”
El estudio concluye que, aunque estrategias como la ingeniería de prompts pueden disminuir de forma significativa las alucinaciones adversariales, ningún modelo evaluado es completamente inmune. Los autores advierten que la integración de LLM en entornos clínicos debe ir acompañada de supervisión humana, ya que un solo dato falso en la consulta puede derivar en recomendaciones peligrosas para la salud.
“Nuestro estudio arroja luz sobre un punto ciego en la forma en que las herramientas actuales de IA manejan la desinformación, especialmente en la atención sanitaria” afirmó, el coautor principal Girish N. Nadkarni, Presidente del Departamento Windreich de IA y Salud Humana y director del Instituto Hasso Plattner para la Salud Digital. Además, advierte que la solución no es abandonar la IA en medicina, sino diseñar herramientas capaces de detectar la información dudosa, responder con cautela y garantizar siempre la supervisión humana.
MOUNT SINAI
NATURE
