No ano passado, pesquisadores do Facebook mostraram aos executivos da empresa um exemplo do tipo de discurso de ódio que circula na rede social: uma postagem real com a imagem de quatro legisladoras democratas conhecidas como “O Esquadrão”.
A postagem, cujo nome foi apagado por uma questão de privacidade, referia-se às mulheres, duas das quais muçulmanas, como "swamis cabeças de trapo". Um comentário de outra pessoa usou uma linguagem ainda mais vulgar, referindo-se às quatro mulheres de cor como “cadelas negras”, de acordo com documentos internos da empresa obtidos exclusivamente pelo The Washington Post.
A postagem representava o “pior do pior” da linguagem no Facebook – a maioria direcionada a grupos minoritários, de acordo com um trabalho de dois anos de uma grande equipe que trabalha em toda a empresa, disse o documento. Os pesquisadores pediram aos executivos que adotassem uma agressiva revisão de seu sistema de software, que removeria principalmente aquelas odiosas postagens antes que qualquer usuário do Facebook pudesse vê-las.
Mas os líderes do Facebook recusaram o plano. De acordo com duas pessoas familiarizadas com o debate interno, executivos do alto escalão, incluindo o vice-presidente de Políticas Públicas Globais, Joel Kaplan, temiam que o novo sistema pendesse ao proteger alguns grupos vulneráveis em detrimento de outros. Um executivo de políticas preparou um documento para Kaplan que levantou o potencial de reação de “parceiros conservadores”, de acordo com o documento. As pessoas falaram com o The Post em condição de anonimato para discutir delicados assuntos internos.
O debate não relatado anteriormente é um exemplo de como as decisões do Facebook – sob o pretexto de ser neutro e cego quanto à raça – ocorre, na verdade, às custas das minorias e, particularmente, das pessoas de cor. Longe de proteger usuários negros e de outras minorias, os executivos do Facebook acabaram instituindo meias medidas após o projeto "pior do pior" que deixou as minorias mais propensas a encontrar linguagem depreciativa e racista no site, disseram as pessoas.
“Mesmo que (os executivos do Facebook) não demonstrem nenhuma animosidade em relação às pessoas de cor, suas ações estão do lado dos racistas”, disse Tatenda Musapatike, ex-gerente do Facebook que trabalha em campanhas políticas e CEO do Projeto de Formação de Eleitores, organização sem fins lucrativos e apartidária que usa a comunicação digital para aumentar a participação nas eleições estaduais, locais e nacionais. “Essa atitude mostra que a saúde e a segurança das mulheres negras na plataforma não é tão importante quanto agradar amigos brancos e ricos.”
O público negro do Facebook está em declínio, de acordo com dados de um estudo realizado pelo próprio Facebook no início deste ano, revelado em documentos obtidos pela denunciante, Frances Haugen. De acordo com o relatório de fevereiro, o número de usuários negros mensais caiu 2,7% em um mês, representando 17,3 milhões de adultos. Também mostra que sua utilização por negros atingiu o pico em setembro de 2020. O advogado de Haugen forneceu versões editadas dos documentos ao Congresso, que foram vistas por um consórcio de organizações de notícias, incluindo o Post.
Impacto desproporcional sobre minorias
Grupos de direitos civis há muito afirmam que os algoritmos e as políticas do Facebook causaram um impacto desproporcionalmente negativo sobre as minorias, especialmente os usuários negros. Os documentos do “pior do pior” mostram que essas alegações eram em grande parte verdadeiras no caso do discurso de ódio ser mantido online.
Mas o Facebook não revelou suas estatísticas aos líderes dos direitos civis. Mesmo os auditores independentes de direitos civis contratados pelo Facebook em 2018 para conduzir um grande estudo sobre questões raciais dizem que não foram informados dos detalhes da pesquisa de que os algoritmos da empresa prejudicam desproporcionalmente as minorias.
Laura Murphy, presidente da Consultoria Estratégica Laura Murphy & Associados, que liderou o processo de auditoria de direitos civis, afirmou que o Facebook disse a ela que “a empresa não coleta dados sobre o(s) grupo(s) protegido(s) contra os quais o discurso de ódio foi dirigido.”
“Não estou afirmando que se trata de uma intenção nefasta, mas é profundamente preocupante que as métricas que mostraram o impacto desproporcional do ódio dirigido a usuários negros, judeus, muçulmanos, árabes e LGBTQIA não foram compartilhadas com os auditores”, disse Murphy em um comunicado. “Claramente, eles coletaram alguns dados nesse sentido.”
No relatório que divulgaram no ano passado, o auditores concluíram ainda que as decisões políticas do Facebook representaram um “tremendo retrocesso” para os direitos civis.
O que diz o Facebook
Andy Stone, porta-voz do Facebook, defendeu as decisões da empresa em torno de suas políticas sobre discurso de ódio e como ela conduzia seu relacionamento com os auditores de direitos civis.
“O projeto 'o pior do pior' ajudou a nos mostrar que tipos de discurso de ódio nossa tecnologia detectava ou não e entendia de forma eficaz que formas as pessoas acreditam ser as mais insidiosas”, disse Stone em um comunicado.
Ele disse que o progresso em questões raciais inclui políticas como banir grupos brancos nacionalistas, proibir conteúdo que promova estereótipos raciais – como pessoas de cara pintada de preto ou alegações de que os judeus controlam a mídia – e reduzir a prevalência do discurso de ódio para 0,03% do conteúdo na plataforma.
O Facebook encarou a auditoria de direitos civis com “transparência e mente aberta” e se orgulha do progresso que fez em questões raciais, disse Stone.
Stone observou que a empresa havia implementado partes do projeto “pior do pior”. “Mas, após uma rigorosa discussão interna sobre essas difíceis questões, não implementamos todas as partes, pois isso significaria menos remoções automatizadas do discurso de ódio, como declarações de inferioridade sobre mulheres ou expressões de desprezo sobre pessoas multirraciais”, acrescentou.
O pior do pior
Os pesquisadores do Facebook mostraram pela primeira vez a postagem racista apresentando “O Esquadrão” – as representantes do Partido Democrata Alexandria Ocasio-Cortez, Ilhan Omar, Rashida Tlaib e Ayanna Pressley – para mais de 10 mil usuários do Facebook em uma pesquisa online em 2019. (“O Esquadrão” agora possui seis membros.) Usuários foram solicitados a avaliar 75 exemplos de discurso de ódio na plataforma para determinar o que eles consideravam mais prejudicial.
Outras postagens entre os exemplos incluíam uma que dizia: “Muitos desses babacas de merda do departamento do bem-estar mandam o dinheiro de volta para suas florestas nativas. A imagem de um chimpanzé com uma camisa de manga comprida tinha a legenda: “Aqui está uma da Michelle Obama”. Outra postagem na pesquisa disse: “A única ajuda humanitária necessária na fronteira são algumas centenas de torres de metralhadoras com sensores de movimento. Problema resolvido".
Os 10 piores exemplos, de acordo com os usuários pesquisados, eram quase todos direcionados a grupos minoritários. Cinco das postagens foram direcionadas a negros, incluindo declarações sobre inferioridade mental e nojo. Dois foram direcionados à comunidade LGBTQ. Os três restantes foram comentários violentos dirigidos a mulheres, mexicanos e brancos.
Essas constatações sobre conteúdo mais questionável se mantiveram até mesmo entre os brancos conservadores que se identificam como os que a equipe de pesquisa de mercado viajou para visitar nos estados do sul. Os pesquisadores do Facebook procuraram os pontos de vista dos brancos conservadores em especial porque eles queriam superar as objeções potenciais da liderança da empresa, que era conhecida por acalmar os pontos de vista de direita, disseram duas pessoas.
Não obstante, as postagens racistas contra as minorias não eram o que os algoritmos de detecção do discurso de ódio do Facebook encontravam mais comumente. O software, que a empresa lançou em 2015, deveria detectar e excluir automaticamente o discurso de ódio antes que os usuários o vissem. Publicamente, a empresa disse em 2019 que seus algoritmos captaram de forma proativa mais de 80% do discurso de ódio.
Mas essa estatística escondeu um sério problema que ficou óbvio para os pesquisadores: o algoritmo estava agressivamente detectando comentários difamando brancos mais do que ataques a qualquer outro grupo, de acordo com vários daqueles documentos. Um documento de abril de 2020 disse que cerca de 90 por cento do “discurso de ódio” sujeito à remoção de conteúdo eram declarações de desprezo, inferioridade e repulsa dirigidas a pessoas e homens brancos, embora o período em que foram postadas não tenha sido claro. E falhou consistentemente em remover o conteúdo mais depreciativo e racista. O Post relatou anteriormente sobre uma parte desse projeto.
Os pesquisadores também descobriram em 2019 que os algoritmos do discurso de ódio estavam desconectados dos reais relatos do discurso preconceituoso na plataforma. Naquele ano, os pesquisadores descobriram que 55% do conteúdo que os usuários relataram ao Facebook como mais prejudicial havia sido direcionado a apenas quatro grupos minoritários: negros, muçulmanos, a comunidade LGBTQ e judeus, de acordo com os documentos.
'Cegueira racial'
Uma das razões para esses erros, descobriram os pesquisadores, era que as regras de conduta de “cegueira racial” do Facebook na plataforma não distinguiam os alvos do discurso de ódio. Além disso, a empresa decidiu não permitir que os algoritmos excluíssem automaticamente muitas legendas, de acordo com as pessoas, com o argumento de que os algoritmos não podiam distinguir facilmente a diferença quando uma legenda de postagem como a palavra “negro” foi usada positivamente ou coloquialmente dentro de uma comunidade. Os algoritmos também estavam indexando em excesso na detecção de conteúdo menos prejudicial que ocorria com mais frequência, como “os homens são uns porcos”, em vez de encontrar conteúdo menos comum, porém mais prejudicial.
“Se não se fizer algo para controlar o racismo estrutural na sociedade, o racismo será sempre maior”, disse uma das pessoas envolvidas no projeto ao The Post. “E isso é exatamente o que os algoritmos do Facebook fizeram”.
“Esta informação confirma o que muitos de nós já sabíamos: que o Facebook é um participante ativo e disposto na disseminação do discurso de ódio e da desinformação”, disse Ilhan Omar em um comunicado. “Durante anos, nos preocupamos com o sobre o rotineiro conteúdo anti-muçulmano, anti-negros e anti-imigrantes no Facebook, grande parte dele baseado em mentiras. É claro que a única preocupação da plataforma é o lucro e irão sacrificar nossa democracia para maximizá-lo”.
Durante anos, os usuários negros disseram que esses mesmos sistemas automatizados também confundiam postagens sobre racismo com discurso de ódio – enviando o usuário para a “prisão do Facebook” bloqueando sua conta – e os tornavam alvos desproporcionais do discurso de ódio que a empresa não conseguia controlar. Mas quando os líderes dos direitos civis reclamaram, esses problemas de moderação de conteúdo foram rotineiramente descartados como meros "incidentes isolados" ou "anedóticos", disse Rashad Robinson, presidente do A Cor da Mudança, grupo de direitos civis que regularmente pedia por ações mais enérgicas da empresa contra o discurso de ódio e incitação à violência no Facebook, e argumentou que Kaplan deveria ser demitido.
“Eles costumavam negar isso”, disse Robinson. “Eles me diziam: 'Isso simplesmente não é verdade, Rashad.' E me perguntavam: 'Você tem dados para comprovar isso?' ”
Ameaças de morte
Malkia Devich-Cyril, ativista negra e lésbica, ex-diretora executiva do Center for Media Justice – que administrou duas páginas sobre o tema Vidas Negras Importam (Black Lives Matter) no Facebook em 2016 – disse que o grupo precisou parar de administrar as páginas porque ela estava sendo "assediada implacavelmente”, inclusive recebendo ameaças de morte.
“Isso me deixou enojada”, disse Devich-Cyril. “Como ativista – cuja missão é ficar na linha de frente e lutar por mudanças – isso criou em mim uma espécie de medo. Se esse tipo de amedrontamento em um estado democrático é o que o Facebook busca, eles conseguiram”.
Em dezembro de 2019, pesquisadores sobre o “pior dos pior”, que ficou conhecido como Projeto “WoW” (worst of the worst), estavam prontos para apresentar suas constatações após dois anos de trabalho aos principais líderes da empresa, incluindo Kaplan e a chefe de gestão de políticas globais Monika Bickert.
Eles estavam propondo uma grande revisão do algoritmo de discurso de ódio. De agora em diante, o algoritmo seria rigidamente adaptado para remover automaticamente o discurso de ódio contra apenas cinco grupos de pessoas – negros, judeus, LGBTQ, muçulmanos ou de várias raças – que os usuários classificaram como os mais graves e prejudiciais. (Os pesquisadores esperavam expandir eventualmente as capacidades de detecção do algoritmo para proteger outros grupos vulneráveis, depois que o algoritmo tivesse sido retreinado e estivesse no caminho certo.) Ameaças diretas de violência contra todos os grupos continuariam a ser excluídas.
Usuários do Facebook ainda poderiam reportar qualquer postagem que considerassem prejudicial, e os moderadores de conteúdo da empresa fariam uma segunda análise.
A equipe sabia que fazer essas mudanças para proteger minorias mais vulneráveis em relação a outras seria tarefa difícil, de acordo com pessoas familiarizadas com a situação. O Facebook opera amplamente com um conjunto de padrões para bilhões de usuários. Políticas que poderiam beneficiar um determinado país ou grupo foram frequentemente rejeitadas por não serem “dimensionáveis” em todo o mundo e, portanto, poderiam interferir no crescimento da empresa, de acordo com muitos funcionários antigos e atuais.
Rejeição da proposta
Em fevereiro de 2020, Kaplan e outros líderes revisaram a proposta – e imediatamente rejeitaram as mudanças mais substanciais. Sentiram que as mudanças protegiam apenas alguns grupos, enquanto deixavam de fora outros, expondo a empresa a críticas, de acordo com três pessoas. Por exemplo, a proposta não teria permitido a exclusão automática de comentários contra mexicanos ou mulheres. O documento preparado para Kaplan menciona que alguns “parceiros conservadores” podem resistir à mudança porque pensam que “o ódio direcionado às pessoas trans é uma forma de expressão”.
Quando questionado sobre a inclinação de Kaplan para o lado dos conservadores, Stone, do Facebook, disse que a objeção de Kaplan à proposta era por causa dos tipos de discurso de ódio que a plataforma não mais excluiria automaticamente.
Kaplan, o republicano mais influente da empresa, era amplamente conhecido por crer firmemente na ideia de que o Facebook deveria parecer "politicamente neutro", e sua ideologia linha-dura de liberdade de expressão estava em sintonia com o CEO da empresa, Mark Zuckerberg. (O Facebook mudou recentemente seu nome corporativo para Meta.) Ele se curvou para proteger os conservadores, de acordo com reportagens anteriores do The Post, de vários funcionários e dos documentos do Facebook.
Mas Kaplan e os outros executivos deram luz verde para uma versão do projeto que removeria o discurso menos prejudicial, de acordo com o próprio estudo do Facebook: programar os algoritmos para parar automaticamente de retirar conteúdo direcionado a brancos, americanos e homens. O Post relatou anteriormente sobre essa mudança quando esta foi anunciada internamente no final de 2020.
“O Facebook parece tentar igualar a proteção dos usuários negros a tomar partido para algum lado”, disse David Brody, advogado sênior do Comitê de Advogados para Direitos Civis sob a Lei, quando o Washington Post apresentou a ele a pesquisa da empresa. “O algoritmo que desproporcionalmente protegia usuários brancos e expunha usuários negros – mostrou quanto o Facebook foi tendencioso”.
Debandada de usuários negros
Este ano, o Facebook conduziu um estudo de produto de consumo sobre “justiça racial” que descobriu que usuários negros estavam saindo do Facebook. Esse estudo descobriu que usuários negros mais jovens, em particular, estavam atraídos pelo TikTok. Pareceu confirmar um estudo de três anos atrás chamado Projeto Vibe, que alertava que os usuários negros estavam "em vias” de deixar a plataforma por causa da “da forma como o Facebook aplica sua política do discurso de ódio".
“O grau de ameaças de morte nessas plataformas, especificamente no Facebook, que meus colegas sofreram é insustentável”, disse Devich-Cyril, acrescentando que hoje o grupo raramente posta sobre política publicamente no Facebook. “É uma plataforma demasiadamente insegura.”
*Tradução de Anna Maria Dalle Luche