Investigadores analizaron la capacidad de ChatGPT para generar resúmenes de artículos científicos basándose en el título y nombre de la revista
Los modelos de lenguaje basados en inteligencia artificial (IA), como ChatGPT son capaces de producir textos complejos y precisos sobre casi cualquier tema, sin embargo, también pueden generar información imprecisa o falsa en cuestión de segundos. Un grupo de investigadores publicó un artículo recientemente en el que recopilan 50 resúmenes de investigación o abstract de artículos publicados en cinco revistas médicas de alto impacto. Además, le pidieron a ChatGPT generar resúmenes de investigación basados solamente en los títulos de los artículos y en la revista donde fueron publicados.
“Los modelos de lenguaje extenso (LLM) a menudo son modelos de transformadores complejos basados en redes neuronales que pueden generar texto definido por tono y contenido”, explican los autores. Los LLM están entrenados en enormes cantidades de datos por lo que son capaces de producir textos bien estructurados que se leen de forma natural.
Como mencionan los autores, “ChatGPT se basa en Generative Pre-trained Transformer-3 (GPT-3), que es uno de los modelos más grandes de este tipo, entrenado con 175,000 millones de parámetros”. Este tipo de modelos genera resultados coherentes que pueden ser difíciles de distinguir de textos escritos por humanos.
Durante el ejercicio de generación de resúmenes, a pesar de que todos tenían un formato superficial de resumen científico, solamente ocho, es decir el 16% utilizaron correctamente los encabezados de cada revista en su mensaje. Es decir, los estilos de párrafo de cada revista, y otros aspectos del formato de texto como el número de palabras.
Los resúmenes originales fueron sometidos a una detección de plagio y verificación de similitudes, y obtuvieron puntaciones más altas que los resúmenes generados. Asimismo, a los revisores humanos cegados se les proporcionaron resúmenes generados y originales y lograron identificar 68% de los resúmenes generados como generados y el 86% de los resúmenes originales como originales.
“Nuestros revisores comentaron que los resúmenes que pensaban que ChatGPT había generado eran superficiales y vagos, y en ocasiones se centraban en los detalles de los resúmenes originales, como la inclusión de los números de registro de ensayos clínicos y la ortografía alternativa de las palabras”, detallaron los autores.
Los revisores incluso clasificaron erróneamente una parte de los resúmenes reales como generados. Además, cabe mencionar que los resúmenes generados contenían números fabricados, sin embargo, estos tenían un tango similar al de los resúmenes reales.
Los autores aceptan las limitaciones del estudio debido al pequeño tamaño de muestra y pocos revisores, además reconocen que ChatGPT es muy sensible a las indicaciones que recibe, por lo que solo tomaron el primer resultado proporcionado, sin realizar otras generaciones que podrían haber mejorado su credibilidad.
Finalmente, los autores anticipan que esta tecnología podría usarse tanto de manera ética como no ética. Y aunque el texto generado puede ayudar a aliviar la carga de escritura para los investigadores, es necesario que este sea editado por un científico y se someta a una revisión cuidadosa. O bien los LLM pueden ser utilizado para generar resúmenes en idiomas distintas al de los investigadores originales.
Conoce más consultando el artículo completo: https://www.nature.com/articles/s41746-023-00819-6
