Estado: Hoje, os algoritmos são como caixas pretas. Essa falta de transparência prejudica a sociedade?Cathy O'Neil: Os algoritmos têm sido usados para separar vencedores de perdedores. Embora esse método venha sendo mostrado como novo e inteligente, ele acontece do jeito antigo, considerando variáveis como gênero, classe, bairro, deficiência, status de relacionamento. Se isso acontecesse uma vez, já seria decepcionante. Mas isso está acontecendo múltiplas vezes com cada um de nós. Conforme o tempo passa, os vencedores se tornam cada vez mais sortudos, e os perdedores, cada vez mais azarados. Se uma pessoa é pobre, negra ou mulher, ela tem muito menos chances de ser considerada uma vencedora pelos sistemas. Isso acontece o tempo todo, em todo o lugar, acelerando a discriminação e aumentando a desigualdade.
Quando a sra. decidiu se dedicar a alertar as pessoas sobre esses efeitos nocivos?Eu pedi demissão do meu emprego quando descobri que universidades populares colocaram em seu alvo pobres, negros e mães solteiras. Essas instituições tentavam convencê-los a entrar em turmas de ensino à distância de baixa qualidade. Eu percebi que, além de essas pessoas já terem pouco acesso a diversos serviços pelo nível inferior de educação, somente educação de baixa qualidade era oferecida a elas. Isso vem da crença de que essas pessoas podem ser enganadas.
Trata-se de um problema técnico dos algoritmos ou de uma questão social?Eu definitivamente acredito que trata-se de um problema mais social do que técnico. Os algoritmos que tomam decisões que afetam uma grande quantidade de pessoas são quase como “leis secretas”. Nos EUA, por exemplo, eles são usados por juízes para determinar a pena de um condenado. Os programas tentam prever a probabilidade de uma pessoa voltar para a prisão, mas não foram treinados para identificar se os direitos civis dela estão sendo violados. Uma investigação recente da ProPublica mostrou que negros tinham o dobro de chances de receber uma pena longa incorretamente, quando esse algoritmo era usado. Ou seja, existem pessoas sendo punidas injustamente.
Grandes empresas de tecnologia afirmam tomar precauções para que seus algoritmos não tomem decisões enviesadas. Isso tem sido suficiente?Acho que o Facebook é um grande exemplo de como isso não está funcionando bem. A definição de sucesso para eles se resume a manter as pessoas muito tempo conectadas, clicando em anúncios. Assim, a empresa ganha dinheiro. Mas o algoritmo do Facebook não foi desenhado para priorizar a verdade e argumentos discordantes. O resultado disso nós vemos com o advento das notícias e propagandas falsas, com a perda da noção da verdade na sociedade, com as pessoas desvalorizando o que realmente é informação e vivendo em suas próprias bolhas. E isso tudo está acontecendo simplesmente porque o algoritmo do Facebook foi otimizado para o lucro, não para a verdade. E tudo o que a empresa vem fazendo para corrigir isso não está funcionando. E não vai funcionar até que a essência de sua definição de sucesso mude.
Com o avanço da inteligência artificial, os algoritmos estão ficando mais sofisticados. Os problemas tendem a piorar?Com certeza. Acho que ainda não vimos os piores efeitos do uso de algoritmos. A indústria de tecnologia é muito jovem. Pense na fabricação dos primeiros carros: eles não tinham cinto de segurança, não tinham airbags. Quanto mais carros chegavam às ruas, mais pessoas morriam por causa deles. Só depois surgiram testes e padrões de segurança. Ainda hoje, os carros não são perfeitos, mas há um entendimento de que são perigosos. Ainda não temos esse mesmo conceito de perigo em relação aos algoritmos. É difícil ver as falhas que eles cometem, porque as empresas mantêm segredo. É preciso criar instituições que possam monitorar esses desvios, então poderemos criar padrões de segurança para os algoritmos.