Civitai etiqueta automáticamente las recompensas que solicitan deepfakes y enumera una forma para que la persona que aparece en el contenido solicite manualmente su eliminación. Este sistema significa que Civitai tiene una forma razonablemente exitosa de saber qué recompensas son para los deepfakes, pero aún así deja la moderación al público en general en lugar de llevarla a cabo de manera proactiva.
La responsabilidad legal de una empresa por lo que hacen sus usuarios no está del todo clara. Generalmente, las empresas de tecnología tienen amplias protecciones legales contra dicha responsabilidad por su contenido según la Sección 230 de la Ley de Decencia en las Comunicaciones, pero esas protecciones no son ilimitadas. Por ejemplo, “no se pueden facilitar deliberadamente transacciones ilegales en su sitio web”, dice Ryan Calo, profesor especializado en tecnología e inteligencia artificial en la facultad de derecho de la Universidad de Washington. (Calo no participó en este nuevo estudio).
Civitai se unió a OpenAI, Anthropic y otras empresas de IA en 2024 para adoptar principios de diseño para protegerse contra la creación y difusión de material de abuso sexual infantil generado por IA. Este movimiento siguió a un informe 2023 del Observatorio de Internet de Stanford, que encontró que la gran mayoría de los modelos de IA nombrados en comunidades de abuso sexual infantil eran modelos basados en Difusión Estable «obtenidos predominantemente a través de Civitai».
Pero los deepfakes para adultos no han recibido el mismo nivel de atención por parte de las plataformas de contenido o de las firmas de capital de riesgo que los financian. «No le tienen suficiente miedo. Son demasiado tolerantes», dice Calo. «Ni las fuerzas del orden ni los tribunales civiles protegen adecuadamente contra esto. Es día y noche».
Civitai recibió una inversión de 5 millones de dólares de Andreessen Horowitz (a16z) en noviembre de 2023. En un video compartido por a16z, el cofundador y director ejecutivo de Civitai, Justin Maier, describió su objetivo de construir el lugar principal donde las personas encuentren y compartan modelos de IA para sus propios fines individuales. «Nuestro objetivo es hacer que este espacio que, supongo, ha sido muy especializado y con mucha ingeniería sea cada vez más accesible para más y más personas», dijo.
Civitai no es la única empresa con un problema de deepfake en la cartera de inversiones de a16z; en febrero, Revisión de tecnología del MIT informó por primera vez que otra empresa, Botify AI, albergaba compañeros de IA que se parecían a actores reales que declaraban que su edad era menor de 18 años, participaban en conversaciones cargadas de sexualidad, ofrecían «fotos candentes» y, en algunos casos, describían las leyes de edad de consentimiento como «arbitrarias» y «destinadas a ser infringidas».
