THE WASHINGTON POST - QTCinderella ficou conhecida por jogar, cozinhar e falar da própria vida na Twitch, conquistando centenas de milhares de espectadores. Ela criou o “The Streamer Awards” para premiar outros criadores de conteúdo com alto desempenho e recentemente ocupou um lugar cobiçado como convidada especial de um campeonato de eSports.
Nudes não fazem parte do conteúdo compartilhado por ela. Mas alguém forjou conteúdo do tipo usando a imagem de QTCinderella e essas imagens se espalharam pela internet. Isso chamou a atenção para uma ameaça crescente na era da inteligência artificial (IA): a tecnologia deu origem a uma nova ferramenta para atacar as mulheres.
Leia também
Até bem pouco tempo, criar pornografia realista com IA exigia conhecimentos em informática. Agora, em parte graças às novas ferramentas de IA fáceis de se usar, qualquer um com acesso a imagens do rosto de uma vítima consegue criar conteúdo adulto de aspecto realista com um corpo gerado por IA. Os casos de assédio e extorsão provavelmente vão aumentar, segundo especialistas em comportamentos abusivos, conforme pessoas mal-intencionadas usam modelos de IA para humilhar alvos que vão desde celebridades a ex-namoradas – e até mesmo crianças.
De acordo com eles, as mulheres têm poucas formas de se proteger e as vítimas não contam com muitos recursos legais aos quais recorrer.
Em 2019, 96% dos deep fakes (imagens geradas por IAs) na internet eram pornografia, segundo uma análise da empresa de IA DeepTrace Technologies, e praticamente todos as deep fakes pornográficas mostravam mulheres. A presença de deep fakes aumentou desde então, enquanto a resposta da polícia e dos educadores está atrasada, disse Danielle Citron, professora de direito e especialista em comportamento abusivo na internet. Apenas três estados dos EUAs têm leis direcionadas à pornografia deepfake.
“Este é um problema generalizado”, disse Danielle. “Apesar disso, lançamos novas e diferentes ferramentas (de IA) sem qualquer consideração às práticas sociais e à forma como elas vão ser utilizadas.”
Facilidade para criar pornografia
A startup OpenAI causou furor em 2022 ao disponibilizar seu principal modelo de geração de imagens, o DALL-E 2, para o público em geral, provocando alegria e preocupações com desinformação, direitos autorais e viés. Os concorrentes Midjourney e Stable Diffusion vieram logo atrás, com este último permitindo a qualquer pessoa baixar e modificar seu código.
Os agressores não precisavam de aprendizado de máquina poderoso para criar deepvfakes: apps como o “Face swap”, disponíveis nas lojas de aplicativos da Apple e do Google, já facilitavam a produção delas. Porém, a mais recente onda de IA torna os deepvfakes mais acessíveis, e os modelos podem ser hostis às mulheres de formas insólitas.
Como esses modelos aprendem o que fazer sendo alimentados por bilhões de imagens da internet, eles podem, por padrão, refletir preconceitos sociais, sexualizando imagens de mulheres, disse Hany Farid, professor da Universidade da Califórnia em Berkeley, especialista em análise de imagens digitais.
Enquanto isso, as empresas de IA continuam seguindo o lema do Vale do Silício, “mexa-se rápido e quebre as coisas”, escolhendo lidar com os problemas conforme eles surgem.
“As pessoas desenvolvendo essas tecnologias não estão pensando nisso do ponto de vista de uma mulher, que foi vítima de pornografia não consensual ou sofreu assédio online”, disse Farid. “Você tem um monte de caras brancos sentados e dizendo coisas como ‘Ei, dá uma olhada nisso’.”
As pessoas desenvolvendo essas tecnologias não estão pensando nisso do ponto de vista de uma mulher, que foi vítima de pornografia não consensual ou sofreu assédio online
Hany Farid, professor da Universidade da Califórnia em Berkeley
Violência sexual
Pessoas assistindo conteúdo adulto seu sem a sua permissão – sejam essas imagens verdadeiras ou falsas – é uma forma de violência sexual, diz Kristen Zaleski, diretora de saúde mental forense da Clínica Escola de Direitos Humanos Keck, da Universidade do Sul da Califórnia. As vítimas com frequência vivenciam julgamentos e mal-entendidos por parte de seus empregadores e da comunidade, disse ela. Por exemplo, Kristen disse ter atendido uma professora de uma cidade pequena que perdeu o emprego depois de pais terem descoberto pornografia produzida por IA com a imagem dela sem o seu consentimento.
“Os pais daquela escola não entendiam como isso podia ser possível”, disse Kristen. “Insistiram que não queriam mais que ela desse aula aos filhos deles.”
A crescente oferta de deep fakes é motivada pela demanda. O número de vídeos no site que hospeda deep fakes quase dobrou de 2021 para 2022, conforme as ferramentas de imagem de IA se multiplicavam, diz a pesquisadora Genevieve Oh. Criadores de deep fake, assim como desenvolvedores de aplicativos, ganham dinheiro com o conteúdo cobrando por assinaturas ou solicitando doações e o Reddit já foi lugar de inúmeras discussões focadas na busca por novas ferramentas de deep fake e repositórios delas.
Ao ser questionado por que nem sempre essas conversas eram prontamente removidas, uma porta-voz do Reddit disse que a plataforma está trabalhando para aprimorar seu sistema de detecção. “O Reddit foi um dos primeiros a estabelecer políticas em todo o site que proíbem esse conteúdo, e continuamos expandindo nossas políticas para garantir a segurança da plataforma”, disse ela.
Os modelos de aprendizado de máquina também podem produzir imagens que retratam maus-tratos infantis ou estupro e, como ninguém sofreu danos durante a criação do conteúdo, esse material não violaria nenhuma lei, disse Danielle. No entanto, a disponibilização dessas imagens pode causar danos na vida real, disse Zaleski.
Resposta
Alguns modelos generativos de imagem, como o DALL_E 2, apresentam limitações para tornar mais difícil a criação de conteúdo adulto. A OpenAI reduziu as imagens de nudez nos dados de treinamento do Dall-E, o que impede que as pessoas insiram determinados comandos. Ela também verifica o resultado das imagens antes de exibi-las aos usuários, disse Aditya Ramesh, pesquisador-chefe do DALL-E, ao Washington Post.
Outra ferramenta, o Midjourney, usa uma combinação de palavras bloqueadas e moderação humana, diz o fundador David Holz. A empresa planeja lançar um sistema de filtros mais avançado nas próximas semanas, que levará em consideração de forma aperfeiçoada o contexto das palavras, afirmou.
A Stability AI, fabricante do Stable Diffusion, deixou de incluir pornografia nos dados de treinamento de seus lançamentos mais recentes, reduzindo de forma significativa o conteúdo sexual e preconceituoso, disse o fundador e CEO Emad Mostaque.
Mas os usuários têm sido rápidos em encontrar soluções alternativas baixando versões modificadas do código disponível publicamente do Stable Diffusion ou encontrando sites que oferecem recursos semelhantes.
Baixa eficácia nas respostas
Nenhuma medida de proteção será 100% eficaz no controle do que produzido por esses modelos generativos de imagem, disse Farid. Eles retratam mulheres com poses e expressões sexualizadas por causa do preconceito disseminado na internet, a fonte de seus dados de treinamento, independentemente de imagens com nudez ou outro conteúdo adulto terem sido filtrados.
Para a maioria das pessoas, tirar suas imagens da internet para evitar os riscos de ataque por meio de IA não é algo viável. Em vez disso, os especialistas sugerem que se evite o consumo de conteúdo sexual não consensual e ficar a par de como isso afeta a saúde mental, as carreiras e os relacionamentos das vítimas.
Eles também recomendam conversar com seus filhos a respeito de “consentimento digital”. As pessoas têm o direito de controlar quem vê imagens de seus corpos – reais ou não. /TRADUÇÃO DE ROMINA CÁCIA
