El DxO alcanzó 83.2% de precisión en un entorno de prueba controlado con casos reales y complejos, aunque sus autores aclaran que el resultado no demuestra superioridad en la práctica clínica
Un equipo de Microsoft AI publicó en Science un estudio sobre un sistema de inteligencia artificial (IA) diseñado para diagnosticar de forma secuencial, es decir, tal como ocurre en una consulta: a partir de poca información, haciendo preguntas, solicitando estudios y ajustando la hipótesis conforme llegan los resultados. El sistema, llamado Diagnostic Orchestrator (DxO) o también denominado MAI-DxO, obtuvo una precisión superior a la de médicos generalistas participantes en dos conjuntos de casos, con un costo estimado de estudios menor en varios de los escenarios evaluados.
Los autores parten de una limitación de las evaluaciones actuales. Los modelos de lenguaje suelen probarse con casos completos, que reúnen en un solo texto el motivo de consulta, la exploración física y los resultados de laboratorio. Ese formato no mide si el sistema sabe qué preguntar, si evita pedir estudios innecesarios o si reconoce cuándo ya tiene suficiente evidencia para concluir. Para suplir ese vacío crearon el Sequential Diagnosis Benchmark (SDBench), que convierte 304 casos clinicopatológicos del New England Journal of Medicine y 325 encuentros de urgencias de la base MIMIC-IV-ED en consultas interactivas. Cada caso inicia con una breve descripción del paciente, y quien diagnostica, ya sea un médico o una IA, puede preguntar por antecedentes, solicitar pruebas o dar un diagnóstico final. Un agente intermediario responde solo con la información que sería obtenible en la práctica, y otro evalúa si el diagnóstico es correcto con una escala de cinco niveles elaborada por médicos. Los costos se calcularon con precios de procedimientos de la lista pública de tarifas de un hospital de Estados Unidos.
La mayoría de las evaluaciones de IA médica entregan al modelo un caso completo, con síntomas, exploración y resultados de laboratorio en un solo texto. Eso deja fuera una parte central del trabajo clínico, que es decidir qué preguntar y qué pedir, y cuándo detenerse. Para medirlo, los investigadores crearon una prueba llamada SDBench, que convierte 304 casos clinicopatológicos del New England Journal of Medicine y 325 casos reales de urgencias en consultas interactivas. Quien diagnostica, sea persona o IA, empieza con una descripción breve del paciente y puede preguntar, solicitar estudios o dar su diagnóstico. Cada estudio tiene un costo estimado con precios de un hospital de Estados Unidos, de modo que el sistema también es evaluado por lo que gasta.
DxO funciona como un orquestador que puede usarse con distintos modelos de lenguaje. Simula un panel de expertos clínicos con funciones complementarias, que mantienen un diagnóstico diferencial actualizado, cuestionan la hipótesis principal y valoran el costo de cada prueba antes de solicitarla. Con el modelo GPT-5, en los casos del New England Journal of Medicine y sin límite de presupuesto, alcanzó 83.2% de precisión con un costo promedio de 5,431 dólares por caso. Con restricciones de gasto, obtuvo 80.9% con 2,241 dólares y 79.6% con 1,303 dólares, mientras que una configuración orientada a la máxima exactitud llegó a 84.5% con 8,945 dólares. Los médicos de atención primaria, medicina interna y urgencias que participaron en el estudio lograron en promedio 36.1% con acceso a materiales de consulta, con un costo promedio de 4,725 dólares, y 22.3% sin ellos. El médico con mejor desempeño individual alcanzó 51.8%.
Cabe destacar que, DxO no es un modelo nuevo, sino una forma de organizar el trabajo de uno ya existente. Funciona como un equipo virtual de especialistas que mantiene una lista actualizada de posibles diagnósticos, cuestiona la hipótesis principal y calcula si una prueba adicional vale su costo. En los casos del New England Journal of Medicine, que son particularmente difíciles y poco comunes, acertó 83.2% de las veces, frente a 36.1% de los médicos con acceso a materiales de consulta. En los casos de urgencias, más parecidos al trabajo diario, obtuvo 80.3%, frente a 46.8% de los médicos. Con un presupuesto limitado, su precisión bajó poco, a 79.6%, con un costo promedio de 1,303 dólares por caso, frente a 4,725 dólares de los médicos en esos mismos casos complejos.
Además, el estudio también describe diferencias en la forma de trabajar. Antes de pedir la primera prueba, los médicos hicieron en promedio 5.6 preguntas, mientras que DxO con GPT-5 hizo 25.5. Según el análisis de errores, la ventaja del sistema sobre los modelos base se concentró en diagnósticos que dependen de un buen interrogatorio, como exposiciones poco comunes e infecciones relacionadas con viajes. Cuando DxO se equivocó, por lo general eligió un diagnóstico cercano pero con un nivel de especificidad incorrecto, y los errores de los médicos tendieron a estar más alejados del diagnóstico de referencia. Al aplicar la orquestación a distintos modelos comerciales, la precisión mejoró en promedio 4.4 puntos porcentuales en los casos de urgencias y 7.9 en los clínicopatológicos. Antes de la publicación, el equipo repitió toda la evaluación con GPT-5.5 sin modificar el sistema, y la ventaja sobre el modelo base aumentó.
Los autores detallan con transparencia acerca del alcance de los resultados. Los casos clinicopatológicos se eligen por su valor didáctico y suelen incluir reflexiones de especialistas, por lo que esperan que la diferencia se reduzca frente a especialistas o equipos multidisciplinarios. El entorno de prueba tampoco incluye información incompleta, pacientes que olvidan datos, imágenes, estudios de patología ni la evolución del cuadro en el tiempo, y se limita a la etapa diagnóstica, sin evaluar tratamiento ni seguimiento. Como señalan en el texto: “Estas comparaciones no establecen superioridad frente a especialistas, equipos multidisciplinarios ni la práctica clínica del mundo real”. Los costos, además, se basan en precios de Estados Unidos y no reflejan factores como el tiempo de entrega de resultados o la incomodidad para el paciente.
En paralelo, algunos de los mismos autores, entre ellos Mustafa Suleyman y Eric Topol, publicaron en BMJ Digital Health & AI un artículo de perspectiva. Proponen seis dimensiones para evaluar la inteligencia médica de los sistemas de IA, entre ellas el conocimiento médico y su aplicación, el razonamiento diagnóstico y la priorización de casos, la planificación del tratamiento, el contexto longitudinal del paciente, la coordinación clínica y la alineación con los valores y la autonomía de las personas. Sostienen que medir el avance requerirá ir más allá de exámenes y casos curados, con pruebas bajo información incompleta o contradictoria, estudios prospectivos en flujos de trabajo reales y, finalmente, evidencia de mejores resultados en pacientes.
Los autores advierten que los resultados tienen límites claros, pue los casos fueron seleccionados por su valor didáctico, los médicos trabajaron solos y no en equipo, y la prueba solo incluye texto, sin imágenes, pacientes que olvidan datos ni seguimiento en el tiempo. Además, evalúa el diagnóstico, no el tratamiento. Las comparaciones no establecen superioridad frente a especialistas, equipos multidisciplinarios ni la práctica clínica del mundo real, según indica el estudio.
Para el equipo de Science, el siguiente paso es diseñar flujos de trabajo en los que médicos e inteligencia artificial colaboren, además de explorar su uso en educación médica mediante simulaciones de casos. Todos los autores del estudio son empleados de Microsoft y poseen acciones de la empresa, y varios figuran como inventores de una solicitud de patente relacionada con el marco de evaluación.
