Civitai marca automaticamente recompensas solicitando deepfakes e lista uma maneira de a pessoa apresentada no conteúdo solicitar manualmente sua remoção. Este sistema significa que Civitai tem uma maneira razoavelmente bem-sucedida de saber quais recompensas são para deepfakes, mas ainda deixa a moderação para o público em geral, em vez de realizá-la de forma proativa.

A responsabilidade legal de uma empresa pelo que seus usuários fazem não é totalmente clara. Geralmente, as empresas de tecnologia têm amplas proteções legais contra tal responsabilidade pelo seu conteúdo, de acordo com a Seção 230 da Lei de Decência nas Comunicações, mas essas proteções não são ilimitadas. Por exemplo, “você não pode facilitar conscientemente transações ilegais em seu site”, diz Ryan Calo, professor especializado em tecnologia e IA na Faculdade de Direito da Universidade de Washington. (Calo não estava envolvido neste novo estudo.)

Civitai juntou-se à OpenAI, Anthropic e outras empresas de IA em 2024 na adoção princípios de design para se proteger contra a criação e disseminação de material de abuso sexual infantil gerado por IA. Este movimento seguiu uma Relatório de 2023 do Stanford Internet Observatory, que descobriu que a grande maioria dos modelos de IA nomeados em comunidades de abuso sexual infantil eram modelos baseados em difusão estável “obtidos predominantemente via Civitai”.

Mas os deepfakes adultos não receberam o mesmo nível de atenção das plataformas de conteúdo ou das empresas de capital de risco que os financiam. “Eles não têm medo suficiente disso. Eles são excessivamente tolerantes com isso”, diz Calo. “Nem as autoridades nem os tribunais civis protegem adequadamente contra isso. É noite e dia.”

Civitai recebeu um investimento de US$ 5 milhões de Andreessen Horowitz (a16z) em novembro de 2023. Em um vídeo compartilhado por a16z, o cofundador e CEO da Civitai, Justin Maier, descreveu seu objetivo de construir o principal local onde as pessoas encontram e compartilham modelos de IA para seus próprios propósitos individuais. “Nosso objetivo é tornar este espaço que tem sido muito, eu acho, de nicho e de engenharia pesada, cada vez mais acessível para mais e mais pessoas”, disse ele.

A Civitai não é a única empresa com problemas de deepfake no portfólio de investimentos da a16z; em fevereiro, Revisão de tecnologia do MIT relatado pela primeira vez que outra empresa, a Botify AI, hospedava companheiros de IA semelhantes a atores reais que declaravam ter menos de 18 anos, participavam de conversas sexualmente carregadas, ofereciam “fotos quentes” e, em alguns casos, descreviam as leis de idade de consentimento como “arbitrárias” e “feitas para serem violadas”.