THE WASHINGTON POST — As ferramentas de imagem de inteligência artificial (IA) têm a tendência de criar clichês perturbadores: as mulheres asiáticas são hipersexuais. Os africanos são primitivos. Os europeus são mundanos. Os líderes são homens. Os prisioneiros são negros.
Esses estereótipos não refletem o mundo real; eles se originam dos dados que treinam a tecnologia. Extraídos da internet, esses dados podem ser tóxicos, repletos de pornografia, misoginia, violência e fanatismo.
A Stability AI, fabricante do popular gerador de imagens Stable Diffusion XL, disse ao The Washington Post que fez um investimento significativo na redução de preconceitos em seu modelo mais recente, lançado em julho. No entanto, esses esforços não impediram que o modelo se tornasse padrão em termos de desenhos animados. O Post descobriu que, apesar das melhorias, a ferramenta amplifica estereótipos ocidentais ultrapassados, transferindo clichês às vezes bizarros para objetos básicos, como brinquedos ou casas.
“Eles estão meio que jogando um jogo de acertos e respondendo ao que as pessoas chamam mais atenção”, disse Pratyusha Kalluri, pesquisadora de IA da Universidade de Stanford.
Christoph Schuhmann, cofundador da LAION (uma organização sem fins lucrativos por trás dos dados da Stable Diffusion), argumenta que os geradores de imagens refletem naturalmente o mundo das pessoas brancas porque a organização sem fins lucrativos que fornece dados a muitas empresas, inclusive a LAION, não se concentra na China e na Índia, a maior população de usuários da web.
Quando pedimos ao Stable Diffusion XL que produzisse uma casa em vários países, o gerador retornou conceitos clichês para cada local: casas clássicas com telhado curvo para a China, em vez dos apartamentos em arranha-céus de Xangai; casas americanas idealizadas com gramados aparados e amplas varandas; estruturas de barro empoeiradas em estradas de terra na Índia, lar de mais de 160 bilionários, bem como Mumbai, a 15ª cidade mais rica do mundo.
“Isso lhe dará o estereótipo médio do que pensa uma pessoa comum da América do Norte ou da Europa”, disse Schuhmann. “Você não precisa de um diploma em ciência de dados para inferir isso.”
A Stable Diffusion não está sozinha nessa orientação. Em documentos divulgados recentemente, a companhia rival OpenAI afirmou que seu mais recente gerador de imagens, o DALL-E 3, exibe “uma tendência para um ponto de vista ocidental” com imagens que “representam desproporcionalmente indivíduos que parecem brancos, do sexo feminino e jovens”.
À medida que as imagens sintéticas se espalham pela Web, elas podem dar nova vida a estereótipos ultrapassados e ofensivos, codificando ideais abandonados sobre tipo de corpo, gênero e raça no futuro da criação de imagens.
Prevendo o próximo pixel
Como o ChatGPT, as ferramentas de imagem de IA aprendem sobre o mundo por meio de quantidades gigantescas de dados de treinamento. Em vez de bilhões de palavras, elas são alimentadas com bilhões de pares de imagens e suas legendas, também extraídas da web.
As empresas de tecnologia têm se tornado cada vez mais sigilosas sobre o conteúdo desses conjuntos de dados, em parte porque o texto e as imagens incluídos geralmente contêm material protegido por direitos autorais, impreciso ou até mesmo obsceno. Em contrapartida, o Stable Diffusion e o LAION são projetos de código aberto, permitindo que pessoas de fora inspecionem os detalhes do modelo.
O presidente executivo da Stability AI, Emad Mostaque, disse que sua empresa considera a transparência a chave para examinar e eliminar preconceitos. “A Stability AI acredita fundamentalmente que os modelos de código aberto são necessários para estender os mais altos padrões de segurança, justiça e representação”, disse ele em um comunicado.
As imagens do LAION, como muitos conjuntos de dados, foram selecionadas porque contêm o código chamado “alt-text” (texto alternativo), que ajuda o software a descrever imagens para pessoas cegas. Embora o texto alternativo seja mais barato e mais fácil do que adicionar legendas, ele é notoriamente não confiável, repleto de descrições ofensivas e termos não relacionados que visam a ajudar as imagens a se classificarem bem nas pesquisas.
Os geradores de imagens criam imagens com base no pixel mais provável, estabelecendo conexões entre as palavras nas legendas e as imagens associadas a elas. Esses emparelhamentos probabilísticos ajudam a explicar alguns dos mashups bizarros produzidos pelo Stable Diffusion XL, como brinquedos iraquianos que se parecem com tanques e tropas dos EUA. Isso não é um estereótipo: reflete a associação inextricável dos Estados Unidos entre o Iraque e a guerra.
IA não percebe preconceitos
Apesar das melhorias no Stable Diffusion XL, o Washington Post conseguiu gerar tropos sobre raça, classe, gênero, riqueza, inteligência, religião e outras culturas solicitando representações de atividades rotineiras, traços de personalidade comuns ou o nome de outro país. Em muitos casos, as disparidades raciais retratadas nessas imagens são mais extremas do que no mundo real.
Por exemplo, em 2020, 63% dos beneficiários de vale-alimentação eram brancos e 27% eram negros, de acordo com os dados mais recentes da Pesquisa de Renda e Participação em Programas do Census Bureau dos EUA. No entanto, quando solicitamos que a tecnologia gerasse uma foto de uma pessoa recebendo serviços sociais, ela gerou apenas pessoas não-brancas e principalmente de pele mais escura. Os resultados para uma “pessoa produtiva”, por sua vez, eram uniformemente masculinos, majoritariamente brancos e vestidos com ternos para empregos corporativos.
No último outono, Kalluri e seus colegas também descobriram que as ferramentas usavam estereótipos como padrão. Quando solicitada a fornecer uma imagem de “uma pessoa atraente”, a ferramenta gerou pessoas de pele clara, olhos claros, magras e com traços europeus. Uma solicitação de “uma família feliz” produziu imagens de casais heterossexuais, brancos e sorridentes, com filhos, posando em gramados bem cuidados.
Kalluri e os outros também descobriram que as ferramentas distorciam as estatísticas do mundo real. Empregos com rendas mais altas, como “desenvolvedor de software”, produziram representações mais brancas e masculinas do que os dados do Bureau of Labor Statistics sugerem.
Pessoas de aparência branca também aparecem na maioria das imagens de “chef”, uma função de maior prestígio na preparação de alimentos, enquanto pessoas não brancas aparecem na maioria das imagens de “cozinheiros”, embora as estatísticas do Labor Bureau mostrem que uma porcentagem maior de “cozinheiros” se identificam como brancos do que “chefs”.
Dados mais limpos, resultados mais limpos
Há muito tempo as empresas sabem dos problemas com os dados por trás dessa tecnologia. O ImageNet, um conjunto de treinamento fundamental de 2009 com 14 milhões de imagens, foi usado por mais de uma década antes de os pesquisadores encontrarem conteúdo perturbador, incluindo imagens sexuais não consensuais, nas quais as mulheres às vezes eram facilmente identificáveis. Algumas imagens foram classificadas em categorias rotuladas com insultos como “Closet Queen”, “Failure”, “mulatto”, “nonperson”, “pervert” e “Schizophrenic”.
Os autores do ImageNet eliminaram a maioria das categorias, mas muitos conjuntos de dados contemporâneos são criados da mesma forma, usando imagens obtidas sem consentimento e categorizando pessoas como objetos.
Os esforços para desintoxicar as ferramentas de imagem de IA têm se concentrado em algumas intervenções aparentemente frutíferas: filtrar conjuntos de dados, aperfeiçoar os estágios finais de desenvolvimento e codificar regras para tratar de problemas que geraram má reputação para a empresa.
Por exemplo, o Stable Diffusion atraiu atenção negativa quando solicitações de “Latina” produziram imagens de mulheres em poses sugestivas usando pouca ou nenhuma roupa. Um sistema mais recente (versão 2.1) gerou imagens mais inócuas.
Por que a diferença? Uma análise do Washington Post descobriu que os dados de treinamento da primeira versão continham muito mais pornografia.
Das imagens de treinamento com a legenda “Latina”, 20% das legendas ou URLs também incluíam um termo pornográfico. Mais de 30% foram marcados como quase certos de serem “inseguros” por um detector LAION para conteúdo não seguro para o trabalho. Nos modelos Stable Diffusion subsequentes, os dados de treinamento excluíram as imagens marcadas como possivelmente “inseguras”, produzindo imagens que parecem claramente menos sexuais.
As descobertas do Washington Post estão de acordo com pesquisas anteriores que encontraram imagens de abuso sexual e estupro no conjunto de dados usado para o Stable Diffusion 1, bem como imagens que sexualizavam mulheres negras e fetichizavam mulheres asiáticas. Além de remover imagens “inseguras”, Ben Brooks, diretor de políticas públicas da Stability AI, disse que a empresa também teve o cuidado de bloquear material de abuso sexual infantil (CSAM) e outras imagens de alto risco para o SD2.
Filtrar o que é “ruim” de um conjunto de dados não é uma solução fácil para a parcialidade, disse Sasha Luccioni, cientista pesquisadora da Hugging Face, um repositório de código aberto para IA e um dos patrocinadores corporativos da LAION. A filtragem de conteúdo problemático usando palavras-chave em inglês, por exemplo, pode remover uma grande quantidade de pornografia e CSAM, mas também pode resultar em mais conteúdo geral do norte global, onde as plataformas têm um histórico mais longo de geração de conteúdo de alta qualidade e restrições mais fortes à publicação de pornografia, disse ela.
“Todas essas pequenas decisões podem, na verdade, piorar o preconceito cultural”, disse Luccioni.
Até mesmo as solicitações para gerar fotos de atividades cotidianas caíram em tropos. O Stable Diffusion XL apresentou como padrão atletas do sexo masculino, em sua maioria de pele escura, quando solicitamos ao sistema que produzisse imagens de “futebol”, enquanto retratava apenas mulheres quando solicitado a mostrar pessoas no ato da “limpeza”. Muitas das mulheres estavam sorrindo, realizando alegremente suas tarefas domésticas femininas.
A Stability AI argumenta que cada país deve ter seu próprio gerador de imagens nacional, que reflita os valores nacionais, com conjuntos de dados fornecidos pelo governo e por instituições públicas.
Refletir a diversidade da web tornou-se recentemente “uma área de interesse ativo” para a Common Crawl, uma organização sem fins lucrativos com 16 anos de existência que há muito tempo fornece textos extraídos da Web para o Google, LAION e muitas outras empresas de tecnologia, disse o diretor executivo Rich Skrenta ao The Post. Seu rastreador coleta conteúdo com base na classificação interna da organização sobre o que é central na Internet, mas não é instruído a se concentrar em um idioma ou país específico.
“Se houver algum tipo de viés no rastreamento e se ele não estiver investigando tão profundamente, digamos, os sites indianos”, isso é algo que o Common Crawl gostaria de medir e corrigir, disse ele.
A tarefa interminável de erradicar o preconceito
O campo da IA está dividido sobre como lidar com o preconceito.
Para Kalluri, atenuar o preconceito em imagens é fundamentalmente diferente do que em textos. Qualquer tentativa de criar uma imagem realista de uma pessoa precisa tomar decisões sobre idade, corpo, raça, cabelo, histórico e outras características visuais, disse ela. Poucas dessas complicações se prestam a soluções computacionais, disse Kalluri.
Kalluri acredita que é importante que qualquer pessoa que interaja com a tecnologia entenda como ela funciona. “Eles são apenas modelos preditivos”, disse ela, retratando coisas com base no instantâneo da Internet em seu conjunto de dados.
Abeba Birhane, consultora sênior para responsabilidade de IA na Fundação Mozilla
Nem mesmo o uso de prompts detalhados atenuou esse viés. Quando pedimos uma foto de uma pessoa rica em diferentes países, o Stable Diffusion XL ainda produziu uma mistura de estereótipos: Homens africanos com casacos ocidentais em frente a cabanas de palha, homens do Oriente Médio posando em frente a mesquitas antigas, enquanto homens europeus com ternos finos perambulavam por ruas pitorescas de paralelepípedos.
Abeba Birhane, consultora sênior para responsabilidade de IA na Fundação Mozilla, afirma que as ferramentas podem ser aprimoradas se as empresas se esforçarem para melhorar os dados - um resultado que ela considera improvável. Nesse meio tempo, o impacto desses estereótipos recairá mais fortemente sobre as mesmas comunidades prejudicadas durante a era da mídia social, disse ela, acrescentando: “As pessoas à margem da sociedade são continuamente excluídas”. / TRADUÇÃO POR GUILHERME GUERRA