Alerta de Privacidad Digital: ¿Cómo el Mercado de Deepfakes en IA de Civitai Pone en Riesgo la Imagen de Mujeres Reales?
Publicado el 31-01-2026
En la vanguardia de la innovación digital, la inteligencia artificial (IA) ha abierto un abanico de posibilidades, desde la automatización de tareas hasta la creación de arte. Sin embargo, este progreso viene acompañado de desafíos éticos y de seguridad cada vez más complejos. Recientes investigaciones han arrojado luz sobre una faceta preocupante de este ecosistema: el floreciente mercado de los deepfakes, donde plataformas como Civitai, respaldada por inversores de capital riesgo de renombre, están siendo utilizadas para generar y comercializar contenido sintético no consensuado, principalmente de mujeres reales.
El auge de Civitai: Un Ecosistema de Creación de Contenido IA con un Lado Oscuro
Civitai se ha consolidado rápidamente como un prominente mercado en línea para la compra y venta de contenido generado por inteligencia artificial, atrayendo tanto a creadores como a consumidores. Con el respaldo de una firma de capital de riesgo tan influyente como Andreessen Horowitz (a16z), la plataforma se posicionó con la ambición de democratizar el acceso y la creación de modelos de IA. Sin embargo, un análisis reciente realizado por investigadores de la Universidad de Stanford y la Universidad de Indiana ha revelado una alarmante tendencia dentro de este próspero entorno digital: la capacidad y facilidad con la que los usuarios pueden adquirir archivos de instrucción personalizados, conocidos como LoRAs (Low-Rank Adaptation), para generar deepfakes de celebridades y, de manera más preocupante, de mujeres reales, a menudo con fines pornográficos.
Estos archivos LoRAs son pequeñas piezas de código que se pueden «adjuntar» a modelos de IA de generación de imágenes más grandes, como Stable Diffusion, para enseñarles a producir contenido muy específico que no estaba en su entrenamiento original. Esto permite a los usuarios personalizar la salida, logrando replicar con sorprendente fidelidad características, rostros y cuerpos de personas existentes. La investigación subraya que, aunque estos modelos de IA base no estén intrínsecamente diseñados para generar material explícito, la combinación con LoRAs específicas y otras herramientas externas transforma su potencial en una herramienta poderosa para la creación de deepfakes gráficos y sexuales. Este mecanismo de personalización se convierte en el motor de un mercado que desafía los límites éticos y la privacidad de los individuos.
El Análisis Revelador: El Mercado de «Recompensas» y sus Víctimas
El estudio de Stanford y la Universidad de Indiana examinó las «recompensas» (bounties) o solicitudes de contenido que los usuarios publican en Civitai. Los hallazgos, aunque aún no revisados por pares, son contundentes. Entre mediados de 2023 y finales de 2024, si bien la mayoría de las solicitudes se centraban en contenido animado, una porción significativa, y alarmantemente alta, estaba dedicada a la creación de deepfakes de personas reales. Lo más preocupante es que el 90% de estas solicitudes de deepfakes tenían como objetivo a mujeres. Estos datos confirman una clara tendencia de explotación de género en el contexto de la inteligencia artificial generativa, amplificando problemas de acoso y sexualización que ya existían en otros entornos digitales.
La investigación profundizó en la naturaleza de estas peticiones. Los usuarios solicitaban modelos «de alta calidad» para generar imágenes de figuras públicas como la influencer Charli D’Amelio o la cantante Gracie Abrams, a menudo vinculando sus perfiles de redes sociales para facilitar la extracción de imágenes web. Las solicitudes eran extremadamente detalladas, especificando el deseo de modelos que generaran el cuerpo completo de la persona, capturaran con precisión sus tatuajes o permitieran cambiar el color del cabello. Incluso se identificaron peticiones dirigidas a varias mujeres de nichos específicos, como artistas de videos ASMR, y, en un caso particularmente inquietante, la solicitud de un deepfake de la propia esposa del usuario. Este nivel de especificidad no solo demuestra la sofisticación de la demanda, sino también la intención maliciosa detrás de muchas de estas creaciones. Los pagos por estas «recompensas» oscilaban entre $0.50 y $5, y casi el 92% de las solicitudes de deepfakes fueron premiadas, lo que indica un mercado activo y rentable para este tipo de contenido.
Más allá de la creación de deepfakes no consensuados, la plataforma también ha visto un aumento en la cantidad de contenido pornográfico. Los investigadores descubrieron que la mayoría de las solicitudes semanales ahora son de contenido NSFW (Not Safe For Work), lo que sugiere una deriva significativa hacia la explotación sexual y el material explícito. Esto es particularmente grave cuando se considera que, como señala Matthew DeVerna, investigador postdoctoral en el Cyber Policy Center de Stanford y líder del estudio, «Civitai no solo proporciona la infraestructura que facilita estos problemas; también enseña explícitamente a sus usuarios cómo utilizarlos.» La plataforma ofrece recursos educativos sobre cómo usar herramientas externas para personalizar las salidas de los generadores de imágenes (por ejemplo, cambiando la pose de alguien) e incluso alberga artículos escritos por usuarios con detalles sobre cómo instruir a los modelos para generar pornografía. Esta situación plantea serias preguntas sobre la responsabilidad de la plataforma en la mitigación de los riesgos que sus propias herramientas y comunidad generan.
Las Políticas de Civitai Bajo Escrutinio: Un Vistazo a la Moderación de Contenido
La postura de Civitai sobre el contenido de deepfakes ha evolucionado, aunque no sin controversia. Inicialmente, la compañía solo prohibía los deepfakes sexualmente explícitos de personas reales. Sin embargo, en mayo de 2025, anunció una prohibición general de todo el contenido de deepfakes. A pesar de este cambio de política, la realidad es que innumerables solicitudes de deepfakes enviadas antes de la prohibición siguen activas en el sitio. Peor aún, muchas de las creaciones ganadoras que cumplieron con esas solicitudes permanecen disponibles para su compra, como confirmó la MIT Technology Review. Esto sugiere una falta de implementación retroactiva de sus propias reglas, lo que deja a las víctimas expuestas y perpetúa el ciclo de abuso.
La dificultad de controlar un mercado tan dinámico y descentralizado es evidente. El sistema de moneda interna de Civitai, «Buzz», se compra con dinero real, facilitando transacciones para la adquisición de LoRAs y otros contenidos. Este modelo de negocio enfrentó un serio revés en mayo de 2025, cuando su procesador de tarjetas de crédito interrumpió su servicio debido a los problemas continuos de contenido no consensuado. Como resultado, los usuarios que desean pagar por contenido explícito ahora deben recurrir a tarjetas de regalo o criptomonedas para comprar Buzz, mientras que se ofrece una moneda diferente para contenido no explícito. Esta bifurcación en los métodos de pago, aunque podría verse como un intento de segmentación, también puede interpretarse como una adaptación para seguir facilitando las transacciones de contenido NSFW, evadiendo las restricciones de los sistemas financieros tradicionales.
En cuanto a la moderación, Civitai implementó un sistema que etiqueta automáticamente las «recompensas» que solicitan deepfakes y ofrece una vía para que la persona afectada en el contenido solicite manualmente su eliminación. Si bien este sistema implica que Civitai tiene una forma razonablemente exitosa de identificar las solicitudes de deepfakes, la moderación sigue siendo en gran medida reactiva, dependiendo de que las víctimas descubran el contenido y actúen por sí mismas, en lugar de una supervisión proactiva por parte de la plataforma. Esta carga impuesta a las víctimas es una falla común en la moderación de contenido en línea y un punto crítico de crítica para muchos defensores de la seguridad digital.
Implicaciones Legales y Éticas en el Ecosistema de la IA
La responsabilidad legal de las empresas tecnológicas por las acciones de sus usuarios es un terreno pantanoso. En general, las compañías de tecnología gozan de amplias protecciones legales contra dicha responsabilidad por el contenido que albergan en virtud de la Sección 230 de la Ley de Decencia en las Comunicaciones de EE. UU. Sin embargo, estas protecciones no son ilimitadas. Como señala Ryan Calo, profesor especializado en tecnología e IA en la facultad de derecho de la Universidad de Washington, «no se pueden facilitar a sabiendas transacciones ilegales en su sitio web.» Esta distinción es crucial para entender el límite de la protección legal y la posible vulnerabilidad de plataformas como Civitai.
Un aspecto llamativo es la disparidad en la atención y recursos dedicados a combatir diferentes tipos de contenido dañino generado por IA. Mientras que los deepfakes de abuso sexual infantil (CSAM, por sus siglas en inglés) han recibido un nivel significativo de atención por parte de plataformas y legisladores, los deepfakes de adultos no han logrado el mismo nivel de respuesta. Calo enfatiza esta diferencia, afirmando que «no le tienen suficiente miedo. Son demasiado tolerantes con ello. Ni la aplicación de la ley ni los tribunales civiles protegen adecuadamente contra ello. Es la noche y el día.» Esta inacción o tolerancia relativa ante los deepfakes de adultos agrava la vulnerabilidad de las víctimas, que a menudo carecen de recursos legales o mecanismos efectivos para la reparación.
Es importante destacar que Civitai, junto con OpenAI, Anthropic y otras compañías de IA, adoptó en 2024 una serie de principios de diseño para proteger contra la creación y difusión de material de abuso sexual infantil generado por IA. Este movimiento se produjo después de un informe de 2023 del Stanford Internet Observatory, que encontró que la gran mayoría de los modelos de IA nombrados en comunidades de abuso sexual infantil eran modelos basados en Stable Diffusion «obtenidos predominantemente a través de Civitai.» Si bien es un paso positivo para abordar el CSAM, la persistencia del problema de los deepfakes de adultos en su plataforma plantea preguntas sobre la coherencia y el alcance de sus compromisos éticos. La lucha contra la creación de contenido dañino requiere un enfoque integral y proactivo que abarque todas las formas de abuso generado por IA.
El Rol de los Inversores: ¿Responsabilidad Compartida en la Época de la IA?
La inversión de 5 millones de dólares de Andreessen Horowitz (a16z) en Civitai en noviembre de 2023 no solo inyectó capital, sino que también otorgó una validación significativa a la plataforma. Justin Maier, cofundador y CEO de Civitai, expresó en un video compartido por a16z su objetivo de construir el lugar principal donde las personas encuentren y compartan modelos de IA para sus propios propósitos individuales, buscando hacer este espacio «nicho y pesado en ingeniería más y más accesible para más y más personas.» Esta visión, aunque loable en su intención de democratizar la IA, parece haber subestimado los riesgos asociados con un control insuficiente del contenido y la comunidad.
Además, Civitai no es la única compañía con problemas de deepfakes o contenido problemático en la cartera de inversiones de a16z. En febrero, la MIT Technology Review informó que otra compañía, Botify AI, estaba alojando compañeros de IA que se asemejaban a actores reales, declaraban una edad inferior a 18 años, participaban en conversaciones sexualmente cargadas, ofrecían «fotos calientes» y, en algunos casos, describían las leyes de edad de consentimiento como «arbitrarias» y «hechas para ser violadas.» Esta recurrencia de problemas en las empresas respaldadas por la misma firma de capital de riesgo plantea interrogantes sobre los procesos de diligencia debida, la supervisión ética y la responsabilidad que los inversores deben asumir en el explosivo crecimiento de la industria de la IA. La velocidad de la innovación no debe eclipsar la necesidad de marcos éticos robustos y una vigilancia constante por parte de todos los actores del ecosistema digital.
Conclusión: El caso de Civitai y el preocupante auge de los deepfakes no consensuados, especialmente los dirigidos a mujeres, subraya la urgente necesidad de establecer marcos éticos y regulatorios más estrictos en el desarrollo y la implementación de la inteligencia artificial. Mientras la tecnología avanza a pasos agigantados, la capacidad de crear contenido sintético indistinguible de la realidad plantea amenazas sin precedentes a la privacidad, la reputación y la seguridad de las personas. Es imperativo que plataformas, inversores y legisladores colaboren para desarrollar soluciones proactivas de moderación, fortalecer las leyes de protección de datos y garantizar que la innovación en IA se desarrolle de manera responsable y ética, priorizando la dignidad y el consentimiento de los individuos por encima de la «creatividad» sin límites ni consecuencias.
Fuente original: Inside the marketplace powering bespoke AI deepfakes of real women