Un nuevo enfoque basado en IA generativa mejora la precisión y eficiencia en la selección de participantes para ensayos clínicos.
El proceso de selección de participantes para ensayos clínicos es fundamental y además una tarea compleja que requiere la utilización de tiempo y recursos. Un estudio reciente estudio publicado en AI NEJM, se evaluó el uso de un sistema habilitado por GPT-4 con Recuperación-Augmentada de Generación (RAG) para mejorar este proceso en un ensayo clínico sobre insuficiencia cardíaca sintomática.
La selección de participantes en ensayos clínicos es un proceso propenso a errores y laborioso, que tradicionalmente depende de revisiones manuales exhaustivas. Con el avance en procesamiento de lenguaje natural, modelos de lenguaje como el GPT-4 ofrecen una oportunidad para optimizar este proceso. Este estudio investiga la efectividad de un sistema basado en RAG y GPT-4, denominado RECTIFIER, en mejorar la precisión y eficiencia en la selección de participantes para el ensayo COPILOT-HF.
El ensayo COPILOT-HF, selecciona posibles participantes a través de consultas a registros médicos electrónicos, seguidas de revisiones manuales por personal de estudio entrenado. RECTIFIER, desarrollado para este estudio, es un sistema de preguntas y respuestas basado en notas clínicas, potenciado por RAG y GPT-4.
Para evaluar el desempeño de estas herramientas se utilizaron conjuntos de datos de desarrollo, validación y prueba con notas clínicas de 100 pacientes para RECTIFIER, 282 para RAG y 1894 para GPT-4. Un experto realizó una revisión a ciegas para establecer respuestas de “estándar de oro” a 13 preguntas de criterios de inclusión y exclusión.
RECTIFIER y el personal de estudio de COPILOT-HF mostraron una alta alineación con las respuestas de los expertos, con una precisión entre 97.9% y 100% para RECTIFIER y entre 91.7% y 100% para el personal de estudio. Además, RECTIFIER superó al personal de estudio en la determinación de insuficiencia cardíaca sintomática, con una precisión del 97.9% frente al 91.7%.
En general, la sensibilidad y especificidad de RECTIFIER para determinar la elegibilidad de los pacientes fueron del 92.3% y 93.9%, respectivamente, en comparación con el 90.1% y 83.6% del personal de estudio. Además, RECTIFIER mostró ser más costo-efectivo, con un costo promedio por paciente de 11 centavos de dólar utilizando una estrategia de una sola pregunta y de 2 centavos utilizando una estrategia combinada.
De esta manera, el estudio demostró que soluciones basadas en modelos de lenguaje como RECTIFIER pueden mejorar significativamente el rendimiento de la selección en ensayos clínicos y reducir costos mediante la automatización del proceso. No obstante, la integración de estas tecnologías debe considerar posibles riesgos y contar con revisiones finales por clínicos.
