Desafío Crítico para la IA: Cuando los Modelos Se Basan en Investigación Científica Retractada

Publicado el 24-09-2025

La inteligencia artificial está transformando la forma en que accedemos y procesamos la información. Sin embargo, una preocupante revelación ha sacudido a la comunidad científica y tecnológica: algunos de los modelos de IA más avanzados están utilizando material de papers científicos retractados, lo que plantea serias dudas sobre la fiabilidad y la ética de estas herramientas en campos tan críticos como la medicina.

El Problema Invisible: ¿Por Qué la IA Recurre a Datos Defectuosos?

La promesa de la inteligencia artificial es inmensa, ofreciendo soluciones a problemas complejos y democratizando el acceso al conocimiento. No obstante, recientes estudios y pruebas realizadas por MIT Technology Review han puesto de manifiesto una brecha crítica en la capacidad de los modelos de IA para discernir la validez de la investigación científica. Se ha descubierto que algunos chatbots de IA y herramientas de búsqueda se basan en investigaciones defectuosas provenientes de publicaciones científicas que han sido retractadas debido a errores, datos fraudulentos o fallos metodológicos. Este fenómeno no solo socava la credibilidad de la información generada por IA, sino que también complica los esfuerzos de países e industrias que buscan invertir fuertemente en herramientas de IA para apoyar a los científicos.

Ya era conocido que las herramientas de búsqueda y chatbots de IA pueden fabricar enlaces y referencias, o incurrir en sesgos algorítmicos. Pero el uso de contenido de papers reales que han sido retractados presenta una amenaza aún más insidiosa. Como señala Weikuan Gu, investigador médico de la Universidad de Tennessee y coautor de uno de los estudios recientes, el chatbot «está usando un paper real, material real, para decirte algo». El peligro radica en que los usuarios, confiando en la respuesta, no comprueben el estado de retractación del documento original, consumiendo así información errónea o desacreditada.

Evidencia Contundente: Los Estudios Que Lo Demuestran

El equipo de Gu planteó a ChatGPT de OpenAI, funcionando con el modelo GPT-4o, preguntas basadas en 21 papers retractados sobre imágenes médicas. Los resultados fueron alarmantes: en cinco casos, el chatbot referenció los papers retractados, y solo en tres de ellos advirtió sobre la cautela necesaria. Si bien también citó papers no retractados, los autores observaron que el modelo podría no haber reconocido el estado de retractación de los artículos. Otro estudio, publicado en agosto y llevado a cabo por un grupo diferente de investigadores, utilizó ChatGPT-4o mini para evaluar 217 papers retractados y de baja calidad de diversas áreas científicas. El hallazgo fue igualmente preocupante: ninguna de las respuestas del chatbot mencionó las retractaciones u otras preocupaciones sobre la calidad de la investigación.

Este problema tiene implicaciones directas para la salud pública y la investigación. Cada vez más personas utilizan chatbots de IA para consultar consejos médicos o diagnosticar condiciones de salud. Del mismo modo, estudiantes y científicos dependen crecientemente de herramientas de IA especializadas en ciencia para revisar literatura y resumir artículos. La inversión en este tipo de herramientas está en auge, como demuestra la inversión de 75 millones de dólares de la Fundación Nacional de la Ciencia de EE. UU. para construir modelos de IA para la investigación científica. La fiabilidad de estas herramientas es, por tanto, una cuestión de seguridad y de progreso científico.

No Solo ChatGPT: El Desafío de la Integridad de Datos en Toda la Industria de la IA

El problema de la utilización de papers retractados no se limita al ecosistema de OpenAI. Pruebas realizadas por MIT Technology Review en junio con herramientas de IA específicamente diseñadas para trabajos de investigación, como Elicit, Ai2 ScholarQA (ahora parte de Asta del Allen Institute for Artificial Intelligence), Perplexity y Consensus, arrojaron resultados similares. Utilizando las mismas preguntas basadas en los 21 papers retractados del estudio de Gu, se observó que:

• Elicit: Referenció cinco de los papers retractados sin indicar su estado.
• Ai2 ScholarQA: Referenció 17 de los papers retractados sin ninguna advertencia.
• Perplexity: Citó 11 papers retractados sin señalar el problema.
• Consensus: Fue la herramienta con mayor número, referenciando 18 papers retractados.

Estos datos subrayan que el desafío es sistémico y no aislado a una plataforma o modelo de IA. La incapacidad para reconocer y gestionar la información retractada representa un riesgo significativo para la confianza en la IA como fuente de conocimiento fiable.

Respuestas de la Industria y los Obstáculos Actuales

Tras estas revelaciones, algunas empresas han comenzado a tomar medidas correctivas. Christian Salem, cofundador de Consensus, admitió que «hasta hace poco, no teníamos buenos datos de retractación en nuestro motor de búsqueda». Su compañía ha implementado el uso de datos de retractación de diversas fuentes, incluyendo editores, agregadores de datos, rastreo web independiente y Retraction Watch, una iniciativa que mantiene manualmente una base de datos de retractaciones. En una nueva prueba en agosto, Consensus redujo el número de papers retractados citados a solo cinco, demostrando que la mejora es posible.

Elicit, por su parte, informó a MIT Technology Review que elimina de su base de datos los papers retractados señalados por el catálogo de investigación académica OpenAlex y está «todavía trabajando en la agregación de fuentes de retractaciones». Ai2 admitió que su herramienta no detecta ni elimina automáticamente los papers retractados en la actualidad, mientras que Perplexity declaró no poder garantizar una precisión del 100%. Estas respuestas reflejan un reconocimiento del problema, pero también la complejidad de su solución.

Desafíos Fundamentales en la Detección de Retracciones

La solución no es sencilla. Ivan Oransky, cofundador de Retraction Watch, advierte que su base de datos no es exhaustiva, ya que crear una que lo sea requeriría recursos ingentes, en gran parte debido a la necesidad de un trabajo manual minucioso. Además, la falta de un enfoque uniforme por parte de los editores complica aún más la situación. Las retractaciones pueden ser marcadas de diversas maneras, utilizando etiquetas como «corrección», «expresión de preocupación», «erratum» o «retractado», y estas pueden deberse a múltiples razones, desde preocupaciones sobre el contenido hasta conflictos de interés.

Otro factor crucial es que muchos investigadores distribuyen sus papers en servidores de preprints, repositorios y otras plataformas, dispersando copias por toda la web. A esto se suma que los datos utilizados para entrenar los modelos de IA pueden no estar actualizados. Si un paper es retractado después de la fecha de corte del entrenamiento de un modelo, sus respuestas no reflejarán instantáneamente el cambio. Aaron Tay, bibliotecario de la Singapore Management University, destaca que la mayoría de los motores de búsqueda académicos no realizan una verificación en tiempo real contra los datos de retractación, lo que deja a los usuarios a merced de la precisión del corpus de datos de cada herramienta.

Hacia un Futuro de IA Transparente y Responsable en la Ciencia

Ante este panorama, la exigencia de transparencia y responsabilidad en el desarrollo y uso de la IA se vuelve imperativa. Expertos como Oransky abogan por poner a disposición de los modelos más contexto al generar respuestas. Esto podría incluir la publicación de información ya existente, como las revisiones por pares encargadas por las revistas y las críticas de sitios como PubPeer, junto con el paper publicado. De esta manera, la IA tendría acceso a una capa adicional de validación que le permitiría evaluar mejor la calidad y el estado de la investigación.

Muchos editores, incluidos gigantes como Nature y BMJ, ya publican avisos de retractación como artículos separados, vinculados al paper original y accesibles fuera de los muros de pago. Yuanxi Fu, investigadora de ciencia de la información, enfatiza que las empresas de IA deben hacer un uso efectivo de esta información, así como de cualquier artículo de noticias en los datos de entrenamiento de un modelo que mencione la retractación de un paper.

La responsabilidad recae tanto en los desarrolladores de herramientas de IA como en sus usuarios. «Estamos en las primeras, primeras etapas, y esencialmente hay que ser escéptico», concluye Aaron Tay. Es crucial que los ingenieros incorporen mecanismos robustos de IA responsable para la verificación de datos y la detección de contenido desacreditado, mientras que los usuarios deben mantener un espíritu crítico, verificar las fuentes y no dar por sentada la infalibilidad de la tecnología. Solo a través de un esfuerzo conjunto y consciente podremos asegurar que la inteligencia artificial se convierta en un verdadero motor de progreso científico, libre de la sombra de la desinformación.

Conclusión: La revelación de que los modelos de IA están procesando y replicando información de papers científicos retractados es un llamado de atención urgente. La fiabilidad de la IA es fundamental, especialmente cuando se aplica en campos críticos como la medicina y la investigación. Superar este desafío requerirá una colaboración estrecha entre la comunidad científica, los editores académicos y los desarrolladores de IA para construir sistemas que no solo procesen datos, sino que también comprendan el contexto y la validez de la información. El futuro de una inteligencia artificial ética y confiable depende de nuestra capacidad para enfrentar y resolver estas complejidades con determinación y transparencia.

Fuente original: AI models are using material from retracted scientific papers