THE WASHINGTON POST - Parece um pôster de um novo filme da Pixar, mas o título do filme é “Dancing Israelis”. Anunciando o filme como “uma produção do Mossad/CIA”, o pôster mostra um estereótipo caricatural de um homem judeu dançando cuja bota está derrubando as torres do World Trade Center - uma referência às teorias de conspiração antissemitas do 11 de setembro.
Publicada no X, ex-Twitter, em 27 de outubro por um usuário verificado com cerca de 220 mil seguidores que se autodenomina um “patriota que prioriza os EUA”, a imagem obteve cerca de 190 mil visualizações, incluindo 8 mil curtidas e 1,5 mil compartilhamentos. Os moderadores de conteúdo do X não tomaram nenhuma medida contra o tuíte, e o usuário o publicou novamente em 16 de novembro, acumulando mais 194 mil visualizações. Ambos os tuítes permaneceram no site até quarta-feira, mesmo depois que os pesquisadores os sinalizaram como publicações de ódio usando o sistema de denúncias da rede social.
Conteúdo antissemita no X de Elon Musk não é exatamente uma novidade, mas uma nova pesquisa descobriu que o site surgiu como um canal para a exposição convencional de uma nova onda de memes de ódio automatizados, gerados a partir de ferramentas de imagem de inteligência artificial (IA) no famoso fórum online 4chan. A pesquisa realizada pelo Center for Countering Digital Hate (CCDH), uma organização sem fins lucrativos, revela que uma campanha realizada por membros do 4chan para divulgar “memes de judeus com IA” após o ataque do Hamas em 7 de outubro resultou em 43 imagens diferentes que alcançaram um total de 2,2 milhões de visualizações no X entre 5 de outubro e 16 de novembro, de acordo com as métricas exibidas publicamente pelo site.
Exemplos de postagens amplamente visualizadas incluem uma representação de soldados do Exército dos EUA ajoelhados diante de um homem judeu em um trono; Taylor Swift em um uniforme de oficial nazista colocando um homem judeu em um forno; e um homem judeu puxando as cordas de um boneco de um homem negro. O último pode ser uma referência à teoria da conspiração da “Grande Substituição”, que foi citada como motivação pelo homem branco de 18 anos que massacrou 10 pessoas negras em um supermercado de Buffalo, Nova York, em maio de 2022, e que Musk pareceu endossar em um tuíte no mês passado.
Mais da metade das publicações foram feitas por contas verificadas, cujos proprietários pagam uma taxa mensal ao X para obter um status especial e cujas publicações são priorizadas nos feeds dos usuários pelos algoritmos do site. O usuário verificado que tuitou a imagem de soldados do Exército dos EUA se curvando a um governante judeu, com um tuíte afirmando que os judeus buscam escravizar o mundo, concorreu ao Senado dos EUA em Utah como republicano em 2018 e tem 86 mil seguidores na rede social.
A proliferação do fanatismo gerado por máquinas, que os usuários do 4chan criaram usando ferramentas de IA, como o Image Creator da Microsoft, coloca em cheque as recentes alegações de Musk e da CEO do X, Linda Yaccarino, de que a empresa está reprimindo o conteúdo antissemita em meio a um recuo dos principais anunciantes.
Em uma postagem no blog em 14 de novembro, o X afirmou que havia expandido sua moderação automatizada de conteúdo antissemita e fornecido a seus moderadores “um curso de atualização sobre antissemitismo”.
Mas os pesquisadores disseram que das 66 postagens que eles relataram como discurso de ódio em 7 de dezembro, o X parecia ter tomado medidas contra apenas três até segunda-feira, 11. Duas dessas três tiveram sua visibilidade limitada, enquanto uma foi retirada do ar. O Post verificou de forma independente que as outras 63 postagens continuavam disponíveis publicamente no X até quarta-feira, 13, sem qualquer indicação de que a empresa tivesse tomado alguma providência em relação a elas. A maioria parecia violar a política de conduta odiosa do X.
Várias das mesmas imagens geradas por IA também foram postadas em outras plataformas importantes, incluindo TikTok, Instagram, Reddit, YouTube e Facebook, observaram os pesquisadores. Mas o CCDH disse que se concentrou no X porque os cortes na moderação do site sob Musk o tornaram um ambiente particularmente hospitaleiro para que conteúdo explicitamente odioso alcançasse um público mais amplo. A própria análise do The Washington Post dos arquivos do 4chan sugeriu que o X tem sido uma plataforma favorecida para o compartilhamento de imagens antissemitas, embora não seja a única plataforma.
X está com negócios em baixa
Os negócios do X estão em baixa depois que alguns de seus maiores anunciantes retiraram seus anúncios no mês passado. A reação veio em resposta ao tuíte antissemita de Musk e a um relatório de outra organização sem fins lucrativos, a Media Matters for America, que mostrou que as postagens de propaganda nazista estavam sendo veiculadas ao lado de anúncios de grandes marcas no site.
Entre as empresas que suspenderam seus gastos estava a Disney, cuja marca aparece com destaque em muitos dos memes de ódio gerados por IA que agora circulam no X. Ao discursar em uma conferência organizada pelo New York Times no mês passado, Musk fez um discurso com palavrões contra os anunciantes que suspenderam seus gastos no X, acusando-os de “chantagem” e dizendo que eles vão “matar a empresa”. Ele mencionou o CEO da Disney pelo nome.
A publicação mais compartilhada na pesquisa do CCDH foi um tuíte que dizia “Pixar’s Nazi Germany” (Alemanha nazista da Pixar), com uma montagem de quatro cenas geradas por IA de um filme de animação imaginário, retratando nazistas sorridentes dirigindo campos de concentração e levando crianças e adultos judeus para câmaras de gás. Essa foi uma das poucas postagens do estudo que foram rotuladas pelos moderadores de conteúdo do X, com uma nota que dizia: “Visibilidade limitada: esta postagem pode violar as regras do X contra condutas de ódio”. Mesmo assim, até quarta-feira, 13, ele havia sido visto mais de meio milhão de vezes, de acordo com as métricas do X.
Outra conta verificada do X postou dezenas de memes de ódio com IA, incluindo pôsteres de filmes falsos da Pixar que apresentam Adolf Hitler como protagonista, sem nenhuma sanção aparente da plataforma.
Musk, a pessoa mais rica do mundo, processou a Media Matters for America e o Center for Countering Digital Hate por causa de sua pesquisa sobre discurso de ódio no X. Após a última onda de críticas sobre antissemitismo, Musk anunciou novas políticas rigorosas contra determinados slogans pró-palestinos. Além disso, ele visitou Israel para declarar seu apoio ao país, divulgando sua reunião amigável com o primeiro-ministro de direita do país, Bynjamin Netanyahu.
Yaccarino, que foi nomeada CEO por Musk em maio, afirmou em um tuíte de novembro que o X tem sido “extremamente clara sobre nossos esforços para combater o antissemitismo e a discriminação”. A empresa não respondeu a um e-mail perguntando se os memes antissemitas da IA violam suas políticas.
Papel do 4chan no conteúdo racista
Já o 4chan é um fórum de mensagens online anônimo que há muito tempo serve como um centro de conteúdo ofensivo e extremista. Quando Musk comprou o Twitter em outubro do ano passado, os trolls do 4chan comemoraram inundando o site com insultos racistas. No início de outubro deste ano, membros do fórum “Politicamente Incorreto” do 4chan começaram a ensinar e incentivar uns aos outros a gerar memes racistas e antissemitas de direita usando ferramentas de imagem de IA, conforme relatado pela primeira vez pelo blog de tecnologia 404 Media.
As postagens do 4chan descreviam maneiras de burlar as medidas destinadas a impedir que as pessoas gerassem conteúdo ofensivo. Essas formas incluíam um “método rápido” usando o Image Creator da Microsoft, anteriormente chamado de Bing Image Creator, que foi desenvolvido com base no software Dall-E 3 da OpenAI e é visto como tendo restrições mais frágeis sobre conteúdo sensível.
“Se você adicionar palavras que você acha que vão enganar o censor, separe-as da parte do prompt em que você está trabalhando”, aconselhou uma publicação do 4chan, descrevendo como criar prompts de texto que produziriam resultados bem-sucedidos. “Exemplo: rabino no início, nariz grande no final.”
Após o ataque do Hamas a Israel em 7 de outubro, o foco dos usuários do 4chan no conteúdo antissemita pareceu se intensificar. Inúmeros tópicos de “AI Jew memes” surgiram com vários subtemas, como a “Segunda edição do Holocausto” e a “Edição Ovens Run All Day”.
A diretora de comunicações da Microsoft, Caitlin Roulston, disse em um comunicado: “Quando esses relatórios vêm à tona, tomamos as medidas apropriadas para abordá-los, como fizemos no passado. ... Como acontece com qualquer nova tecnologia, algumas pessoas estão tentando usá-la de maneiras não intencionais, e qualquer tentativa repetida de produzir conteúdo que vá contra as diretrizes de nossa política pode resultar na perda de acesso ao serviço”. A Microsoft não informou quantas pessoas tiveram o acesso negado ao seu programa de imagens por terem violado suas regras.
A capacidade de gerar imagens extremistas usando ferramentas digitais não é nova. Programas como o Adobe Photoshop há muito tempo permitem que as pessoas manipulem imagens sem moderar o conteúdo que podem produzir a partir delas.
Mas a capacidade de criar imagens complexas do zero em segundos, seja na forma de um pôster de filme da Pixar ou de uma imagem de guerra fotorrealista, com apenas algumas linhas de texto, é diferente. E a capacidade das contas de ódio de serem verificadas e amplificadas no X tornou a disseminação dessas mensagens mais fácil do que nunca, disse Imran Ahmed, CEO da CCDH. “Claramente, o custo de produção e disseminação de material extremista nunca foi tão baixo.”
Sara Aniano, analista de desinformação do Centro de Extremismo da Liga Anti-Difamação, disse que a IA parece estar inaugurando “a próxima fase da cultura do meme”.
O objetivo dos extremistas ao compartilhar memes de ódio à IA nas principais plataformas de mídia social é levar pessoas coumum a um caminho de radicalização e conspiracionismo, acrescentou Aniano. “Você sempre pode esperar que essa retórica esteja em espaços marginais, mas eles adoram quando ela escapa desses espaços.”
Não é apenas antissemitismo
Nem todos os memes de IA que florescem no X são antissemitas. Ashlea Simon, presidente do partido de extrema direita Britain First, do Reino Unido, passou a postar imagens aparentemente geradas por IA que têm como alvo os migrantes muçulmanos, sugerindo que eles querem estuprar mulheres brancas e “substituir nossos povos”.
O partido e alguns de seus líderes, impulsionados por Donald Trump no Twitter em 2017, haviam sido banidos do Twitter por discurso de ódio na gestão anterior. Mas Musk os reintegrou logo após comprar a empresa e, em abril, deu ao partido seu selo de verificação dourado de “organização oficial”.
Embora Musk tenha dito que é pessoalmente contra o antissemitismo, ele já defendeu a presença de conteúdo antissemita no X. “A liberdade de expressão às vezes significa que alguém de quem você não gosta está dizendo algo de que você não gosta”, disse ele em sua conversa com Netanyahu em setembro. “Se você não tiver isso, então não é liberdade de expressão.”
Ahmed disse que o problema é que as plataformas de mídia social, sem uma moderação cuidadosa, tendem a ampliar pontos de vista extremos e ofensivos, porque tratam as respostas chocadas e indignadas das pessoas como um sinal de engajamento.
“Se você é judeu, ou muçulmano, e todos os dias abre o X e vê novas imagens no topo da sua linha do tempo que o retratam como um monstro sugador de sangue, isso faz com que você sinta que talvez essas plataformas, mas também a sociedade de forma mais ampla, possam estar contra você”, disse ele.
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.