Nesta quinta-feira, 26, a deputada estadual pelo Rio de Janeiro, Renata Souza (PSOL), postou em suas redes sociais uma denúncia do que chama de “racismo algorítmico”. Ao pedir que uma ferramenta de inteligência artificial (IA) criasse um desenho de uma mulher negra na favela, ela obteve uma imagem de uma personagem com uma arma de fogo na mão.
A deputada estava entrando na onda da trend, que consiste em gerar uma personagem ao estilo Pixar a partir de um comando em texto para uma ferramenta de geração de imagens. No último ano, ferramentas que usam IA para criar imagens, como DALL-E e Midjourney, ganharam notoriedade na rede.
Renata não especificou qual foi a ferramenta usada em seu experimento, mas a trend, que ganhou adeptos entre celebridades e usuários comuns, é feita a partir do Bing Image Creator, da Microsoft. Segundo a deputada, o comando dado foi “mulher negra, de cabelos afro, com roupas de estampa africana num cenário de favela” - ou seja, não teria havido pedido para que uma arma aparecesse no cenário, o que levou à acusação de racismo por algoritmos.
O caso viralizou e a Microsoft se posicionou: “Acreditamos que a criação de tecnologias de IA confiáveis e inclusivas é um tema crítico e algo que levamos muito a sério. Estamos investigando este relato e tomaremos as medidas adequadas para ajustar nosso serviço. Estamos totalmente comprometidos em melhorar a precisão dos resultados desta nova tecnologia e continuaremos fazendo investimentos adicionais para isso à medida que ela continua a evoluir.”
O Bing Image Creator gera imagens a partir do DALL-E 3, algoritmo de IA da OpenAI que também é usado no ChatGPT. Microsoft e OpenAI têm parceria no uso de tecnologia - a empresa fundada por Bill Gates investiu US$ 13 bilhões na OpenAI desde 2019. A OpenAI não se manifestou sobre o caso.
O que dizem os especialistas
Para especialistas, o caso exemplifica como sistemas de IA enviesados podem produzir resultados racistas, como denuncia a deputada.
Tárcízio Silva, pesquisador na Fundação Mozilla, explica que sistemas de IA coletam milhares de dados para treinar sua tecnologia, porém, nem sempre há preocupação de garantir a qualidade das informações. Um dos problemas que esse mecanismo gera é que os dados presentes em sociedades como o Brasil e os EUA, que possuem um histórico e contexto discriminatório, treinam uma IA com viés também racista.
Ou seja, os dados refletem os contextos nos quais foram produzidos. E, neste caso, é possível acreditar que as imagens usadas no treinamento do Bing associam pessoas pretas e faveladas com o uso de armas de fogo.
Silva, porém, lembra, que a culpa não é da ferramenta em si. Segundo o pesquisador, as empresas são as responsáveis pelo modo que os dados são usados e como são verificados. “O grande problema é que as empresas não estão preocupadas em investir em um sistema que corrija esses problemas de dados que já existem na sociedade”, diz ele.
Para a cientista de computação e ativista, Nina da Hora, falta transparência em como esses sistemas funcionam. “A IA recebe dados de pessoas na web, não há transparência de como isso funciona”, diz.
O que é racismo algorítmico?
De acordo com a cientista, Nina, o racismo algorítmico é derivado da forma como a sociedade se organiza e como sempre se organizou. “Os dados carregam consigo o histórico, ao longo da história a população negra colocada em dados são colocados como inferiores, como na época da escravidão”, diz.
“Hoje uma criança tem uma representatividade do produto que toca no lado emocional, como uma caneca da Pantera Negra. É sobre uma tentativa de mitigar esses danos”, afirma Nina. “Tem um viés histórico na palavra ‘favela’, na palavra ‘africana’. A IA é treinada com dados de pessoas que foram inferiorizados historicamente, e por isso, tende a repeti-los.”
Para Silva, o próximo passo para combater o racismo é a definição de mecanismos regulatórios. O pesquisador afirma que a União Europeia está muito perto de estabelecer “obrigações e transparências” para as IAs. No Brasil, a discussão está caminhando a passos lentos e está numa fase de audiências públicas.
Há alguns anos, acontece um embate no âmbito legal sobre a transparência de como são usados os algoritmos, os softwares e outros processos internos de empresas que não são compartilhados. No entanto, as iniciativas por maior transparência têm esbarrado em direitos de propriedade intelectual dessas tecnologias.