Kelly Takasu nunca quis ver vídeos gerados por inteligência artificial (IA) de mulheres mais velhas amamentando bebês metade panda, metade humanos. A mãe de 36 anos de Los Angeles, EUA, usa o Instagram para obter conselhos úteis para os pais e vídeos de culinária. Mas depois que ela procurou conteúdo sobre amamentação, o aplicativo teve uma ideia errada sobre ela.
“Um dia, notei que tinha uma sugestão do Reels: uma mulher mais velha que tinha vários bebês ao seu redor. Devo ter olhado para ela por muito tempo”, disse Takasu.
O Instagram, que pertence à Meta, passou a mostrar a Takasu um vídeo de um casal de idosos em uma cama cercado por cerca de 20 bebês, depois mulheres idosas amamentando e, por fim, mulheres de várias idades amamentando e dando à luz bebês híbridos de animais e humanos. Ela acabou fazendo uma pausa no aplicativo apenas para evitar ver as postagens de IA.
Como outros sites de rede social seguiram o exemplo do TikTok e mudaram para feeds opacos baseados em algoritmos, os usuários estão recebendo cada vez mais flashes de conteúdo perturbador ou estranho e indesejado. Não se trata apenas de esquisitices da inteligência artificial, mas também de violência real, sexo e política de incitação à raiva - conteúdo que tem prosperado, mas principalmente fora da vista das pessoas que não o procuram. As crescentes violações proporcionaram uma visão chocante do outro lado dos aplicativos de rede social usados por pré-adolescentes, adolescentes e adultos.
As postagens violentas, especificamente - incluindo vídeos chocantes ou sangrentos - fazem parte do DNA da internet e existem há décadas em sites dedicados, em fóruns online ou em locais mais populares, como Reddit e YouTube. Eles têm uma base de fãs, mas o valor de choque os torna atraentes mesmo para pessoas que não os procuram.
No início deste mês, usuários do Instagram em todo o mundo, inclusive menores de idade em contas de adolescentes com as configurações dos pais ativadas, viram um aumento de conteúdo violento, sexual e extremo em seus feeds do Reels ao longo de um dia.
“Ele viu assassinatos - quase como terrorismo. Ele viu uma mulher dar à luz, viu apenas cadáveres, esse tipo de coisa”, disse Courtney, pai de um estudante do ensino médio de 17 anos da Virgínia que recebeu o conteúdo em seu feed. “Sinto que foi um ataque de algum tipo em suas mentes. Eles ainda são muito impressionáveis”.
Courtney, que falou sob a condição de que seu sobrenome não fosse usado para proteger a privacidade de seu filho, esperou até recentemente para permitir que ele usasse o Instagram por causa de preocupações com conteúdo inapropriado.
Outros usuários do Instagram também relataram ter visto vídeos de cirurgias, pessoas que parecem morrer em acidentes, tiroteios e nudez. Muitos dos vídeos ainda estão disponíveis no aplicativo, alguns em contas populares com milhares de seguidores. O conteúdo geralmente ocupa uma área cinzenta online e não é extremo o suficiente para ser removido de acordo com os padrões da comunidade da Meta.
“Corrigimos um erro que fez com que alguns usuários vissem temporariamente conteúdo em seus feeds do Instagram Reels que não deveria ter sido recomendado. Pedimos desculpas pelo erro”, disse a porta-voz do Meta, Erin Logan, em um comunicado.
Embora não tenha relação com a falha, a Meta fez várias alterações recentemente que afetam o que as pessoas veem em seus feeds do Instagram e do Facebook. Ela encerrou seu programa de verificação de fatos e afrouxou as regras sobre discursos negativos sobre questões como imigração e direitos dos transgêneros. Também começou a permitir mais postagens políticas em seus aplicativos.
O Instagram, especificamente, há muito tempo quer ser um espaço para menores de idade seguirem amigos, influenciadores e contas de memes, mas sem separar totalmente sua experiência da vasta coleção de vídeos que hospeda.
Em setembro, o aplicativo adicionou configurações padrão mais rígidas para novos usuários com menos de 18 anos, incluindo a ativação do que ele disse ser suas restrições mais fortes para conteúdo violento e sexual. Essa configuração torna mais improvável que os adolescentes se deparem com conteúdo inadequado, embora os proprietários de contas com 16 anos ou mais possam alterar a configuração para que seja menos rigorosa.
Na conta do filho de Courtney, essas configurações estavam totalmente ativadas, disse ele.
Esta não é a primeira vez que o Instagram é criticado por conteúdo polêmico. Em 2021, a denunciante Frances Haugen alegou que uma pesquisa interna mostrou que a Meta sabia que seu conteúdo era prejudicial aos adolescentes, contribuindo especificamente para problemas de imagem corporal.
Leia também
Taylor Little, uma jovem de 22 anos de Colorado Springs, é autora de uma das várias ações judiciais contra a Meta que alegam que a empresa prejudicou conscientemente menores de idade. Little tinha 12 anos quando entrou no Instagram pela primeira vez, fingindo ter 16 anos, e foi atraída para um mundo de conteúdo sobre automutilação, alimentação desordenada e ideação suicida. O conteúdo começou como postagens sugeridas e na página Explorar.
“Chegou a um ponto em que eu só via isso”, disse Little. “Desenvolvi um distúrbio alimentar muito rapidamente e estava me automutilando todos os dias.”
Little ainda está se recuperando e removeu todos os aplicativos de rede social do seu smartphone.
“Sabemos que o que mantém as pessoas engajadas é o conteúdo escandaloso, tóxico, odioso e obsceno”, disse Sandra Wachter, professora de tecnologia e regulamentação da Universidade de Oxford. “Boas notícias não vendem, ou pelo menos não vendem tão bem, e assim os sistemas de recomendação aprendem essas preferências do usuário e cada vez mais oferecem esse conteúdo problemático.”
De acordo com suas regras atuais, a Meta diz que proíbe a maioria dos vídeos que exibem conteúdo extremamente gráfico ou violento, como vídeos de pessoas queimadas ou carbonizadas, transmissões ao vivo de pessoas sendo condenadas à morte pelo sistema judiciário ou corpos desmembrados ou órgãos expostos fora de contextos médicos.
Essas regras deixam espaço para outros vídeos chocantes ou polêmicos, como imagens gráficas de procedimentos médicos ou conteúdo que possa incentivar distúrbios alimentares. Em vez de removê-los, o Instagram esconde alguns deles atrás da tela de aviso de Conteúdo Sensível. Ela alerta os usuários de que o conteúdo pode ser gráfico ou violento ou que “algumas pessoas podem achá-lo perturbador”. Os vídeos que ficam atrás dessa tela são ocultos para contas de menores de idade.
Não se trata apenas de violência e sexo, mas de estranheza total que está entrando nos feeds. As ferramentas de IA tornaram possível gerar conteúdo chocante de forma rápida e barata. O objetivo é criar imagens e vídeos tão estranhos que as pessoas se sintam compelidas a parar, olhar e até mesmo comentar, embora os usuários mais jovens tenham maior probabilidade de saber que são falsos.
O YouTube ainda é o site de rede social mais popular entre os adolescentes, de acordo com o Pew Research Center, seguido pelo TikTok e pelo Instagram. Muitos desses tipos de vídeos podem ser encontrados no YouTube, sem a necessidade de fazer login, e também são permitidos na plataforma. No entanto, não foi fácil encontrá-los no TikTok, que tem filtros mais fortes para violência e conteúdo sexual para todos os usuários.
Os adultos também estão cada vez mais desanimados com o conteúdo.
Michael Bock, um empresário de 31 anos do Oregon, geralmente vê conteúdo sobre bicicletas e cachorros em seu feed do Instagram. Ele foi um dos usuários que recebeu conteúdo violento no início deste mês. Quando ele abriu o aplicativo, viu primeiro brigas de rua, mas à medida que rolava os vídeos, eles ficavam ainda mais “horríveis”. Alguém sendo baleado pela polícia, uma pessoa sendo atropelada por um carro e voando no ar.
“Acho que não posso, em sã consciência, contribuir para uma plataforma que acredito firmemente que está prejudicando os usuários”, disse Bock, que usa o Instagram para seus negócios.
Essas plataformas, em grande parte, colocam o ônus sobre os indivíduos para que evitem o conteúdo que não querem ver, e os feeds mais escuros são frequentemente atribuídos à pessoa que faz uma pausa muito longa em coisas de que não gosta. Nos aplicativos da Meta, as pessoas podem tentar “adiar” as publicações sugeridas por um mês ou acessar apenas os feeds das contas que seguem. Em janeiro, o Instagram lançou um botão de “redefinição” há muito prometido para os usuários dos EUA, para ajudar qualquer pessoa a redefinir o algoritmo quando vir publicações fora do assunto ou até mesmo perturbadoras. O TikTok tem um recurso semelhante.
Takasu usou o novo botão de redefinição do Instagram e não está mais vendo os nascimentos de animais. Ela diz que está sendo mais cautelosa com o que vê para evitar que seu feed saia dos trilhos novamente. Mesmo que isso signifique ver menos publicações em geral.
“Definitivamente, eu o uso menos”, disse Takasu.
Naomi Nix contribuiu para esta reportagem.
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.
