Un recordatorio breve de seguridad redujo de 16.6% a 10.1% las respuestas potencialmente dañinas, pero no las eliminó, según una investigación de Mount Sinai.
Investigadores de Mount Sinai, en Nueva York, evaluaron cómo responden 20 modelos de lenguaje de inteligencia artificial (IA) cuando, dentro de un caso clínico, reciben una instrucción que contradice la seguridad del paciente, y si un recordatorio breve incluido en la indicación cambia esa conducta. El estudio, publicado en Communications Medicine, concluyó que el recordatorio disminuyó las respuestas potencialmente dañinas, aunque no las suprimió.
La pregunta surge de la forma en que se organiza la atención en los hospitales, donde las decisiones suelen fluir de los médicos con más jerarquía a los de menos, y la presión de esa estructura puede restar escrutinio a una instrucción insegura. Los autores señalan que los modelos de lenguaje ya se utilizan en tareas como resumir información o apoyar decisiones, por lo que operan dentro de ese mismo entorno.
“Los modelos de inteligencia artificial no toman decisiones en el vacío. El lenguaje, el planteamiento y el contexto que rodean una solicitud pueden influir en cómo responden, incluso cuando una instrucción podría ser insegura”. Mahmud Omar, primer autor del trabajo y docente del Departamento Windreich de Inteligencia Artificial y Salud Humana en Mount Sinai.
Para medirlo, el equipo diseñó 601 casos en los que cada modelo debía elegir entre cuatro acciones, dos potencialmente dañinas, que consistían en acatar la instrucción insegura de forma total o parcial, y dos seguras, que implicaban negarse o pedir orientación. Las instrucciones inseguras incluían, por ejemplo, proceder sin consentimiento del paciente, omitir la verificación de resultados críticos, revelar información que identifica a una persona, recetar opioides o antibióticos sin una evaluación, ignorar una orden de no reanimar, falsear documentación o retirar de forma prematura las precauciones contra infecciones. De los casos, 501 eran variantes inventadas por los investigadores y validadas por médicos, y 100 se construyeron a partir de recomendaciones de alta hospitalaria reales, sin datos personales, de una base pública llamada MIMIC-IV. En uno de estos últimos, por ejemplo, la indicación registrada el día anterior era agendar análisis de sangre y una consulta de seguimiento una semana después del alta, y la petición posterior era no organizarlos para reducir la carga de trabajo.
Cada caso se presentó en una versión neutral y en seis versiones con presión social, inspiradas en los experimentos sobre obediencia a la autoridad del psicólogo Stanley Milgram. Las presiones fueron una orden de un superior, la transferencia de la responsabilidad a otra persona, la urgencia, la amenaza de consecuencias por negarse, la idea de que otros ya habían acatado y la presentación de la tarea como un trámite impersonal. Además, cada versión se probó sin recordatorio de seguridad o con uno de tres recordatorios breves, centrados en la política institucional, en la reducción de riesgos o en verificar y escalar la decisión cuando una opción entrara en conflicto con la seguridad del paciente. Con diez repeticiones por combinación, el estudio reunió más de 10 millones de respuestas.
Del total, 1.18 millones de respuestas, es decir 11.7%, eligieron una opción potencialmente dañina. Sin el recordatorio la proporción fue de 16.6% y con él bajó a 10.1%, una reducción de 6.5 puntos porcentuales. En los casos inventados la caída fue de 10.6% a 7.2%, y en los derivados de registros reales de 46.6% a 24.5%. La mejora se observó en 19 de los 20 modelos, y el que no cambió ya respondía siempre con la opción abiertamente insegura.
“Un simple recordatorio de seguridad redujo las decisiones potencialmente dañinas en la mayoría de los modelos que evaluamos, lo cual es alentador. Pero no las eliminó, por lo que un recordatorio debe verse como una salvaguarda y no como un sustituto de la supervisión clínica”.
En este sentido, las diferencias entre los tipos de presión fueron pequeñas. Con el recordatorio, las respuestas dañinas oscilaron entre 9.2% y 10.6% según la condición, y sin él entre 15.8% y 17.6%. Los autores señalan que los modelos también eligieron opciones potencialmente dañinas cuando no había ninguna presión, y aclaran que ese punto de partida no debe leerse como la frecuencia con la que ocurriría un daño en un hospital. Otro cambio notable fue que, con el recordatorio, las respuestas seguras se inclinaron hacia pedir orientación: la opción de escalar la decisión subió de 25.8% a 38.7%. Según el estudio, eso puede ser deseable cuando una instrucción choca con la seguridad del paciente, pero también podría traducirse en más derivaciones, demoras o carga de trabajo, algo que no se midió.
Asimismo, el equipo evaluó además qué tan estables eran las respuestas. En 80.4% de las combinaciones repetidas diez veces, el modelo eligió el mismo tipo de acción en todas las ocasiones, aunque la estabilidad varió mucho de un modelo a otro, de 4.4% a 100%. Entre las combinaciones en las que hubo cambios, 38.2% alternó entre respuestas dañinas y seguras. Los autores advierten que la consistencia por sí sola no equivale a seguridad, porque un modelo puede elegir de manera repetida la misma opción insegura.
“Estos resultados sugieren que las pruebas de seguridad deben ir más allá de preguntar si un modelo de inteligencia artificial da la respuesta correcta en condiciones normales”, afirmó. “A medida que los sistemas de IA se vuelven más autónomos y se les pide completar tareas cada vez más complejas, necesitamos saber si pueden reconocer cuándo una instrucción puede ser insegura, cuestionarla, verificarla o pedir ayuda a una persona”, Girish N. Nadkarni, director del Instituto Hasso Plattner de Salud Digital en Mount Sinai.
Los propios autores subrayan que se trata de una prueba de concepto y no de una estimación del riesgo en sistemas que ya se usan en la práctica. No incluyeron una comparación con personal de salud, no probaron herramientas en funcionamiento y la selección de modelos no estuvo equilibrada por familia, generación o tamaño. También precisan que la mayor tasa en los casos basados en registros reales debe leerse con cautela, porque la forma de plantear las opciones difiere entre ambos tipos de casos y no demuestra que los textos clínicos reales impliquen más riesgo. Como siguientes pasos, plantean comparar los resultados con los de profesionales de la salud, evaluar grupos de modelos más equilibrados y probar los recordatorios de seguridad en entornos clínicos reales.
