O atual boom da inteligência artificial conexionista, como as modalidades de aprendizado de máquina, gerou uma corrida por diferentes atores em se estabelecer como inovadores. Mesmo entre as organizações mais capazes, a corrida pode gerar impactos que, ao final das contas, acumularão desconfiança do público geral.
Um exemplo recente foi a descoberta das falhas informacionais do chatbot SARAH, lançado pela Organização Mundial da Saúde. Mesmo com o histórico de pesquisas mostrando que chatbots na área da saúde oferecem outputs errôneos em taxas e dimensão preocupantes, a solução foi implementada ainda que com escopo aparentemente cauteloso. Entretanto, o bot demonstrou falhas em encontrar informações da própria OMS e inventou nomes e endereços de clínicas não existentes.
Embora o caso possa ser considerado uma “alucinação” da IA, é importante ressaltar que não se trata disso, mas, antes, de um resultado falso gerado por um grande modelo de linguagem, disponibilizado a toda população por um organismo sério e confiável na área da saúde. Somando-se à também falsa neutralidade que se espera da tecnologia, outputs desinformativos como esse ressaltam os danos que esses sistemas podem trazer à sociedade. E isso é ainda mais grave quando estamos falando de grupos que já são historicamente vulnerabilizados.
Pesquisadores do laboratório de Ziad Obermeyer, da Universidade da Califórnia, publicaram no volume 366 da revista Science importante estudo sobre algoritmos comerciais de predição de necessidades de cuidados médicos, provando que milhões de pacientes negros receberam atribuição a escores de risco que os prejudicava. Em determinados escores de riscos atribuídos aos avaliados em triagens médicas, pacientes negros estavam na verdade muito mais doentes do que os pacientes brancos – e em índices alarmantes.
Ao investigar a origem da disparidade na base de dados, os pesquisadores descobriram que os dados que alimentavam o sistema estavam absurdamente enviesados: além de médicos que tomavam frequentes decisões poderem atribuir menos recursos a pacientes negros, os dados reproduziam a realidade da desigualdade de acesso a recursos de saúde por esse grupo social. Como essa métrica foi aplicada acriticamente como um proxy para supor a condição real dos pacientes, o que o algoritmo fez foi reproduzir, intensificar e esconder o racismo imbricado no sistema de saúde, seja por meio de decisões racistas granulares de médicos que trabalhavam nas clínicas e hospitais fontes de dados para o sistema, seja através dos impactos das categorias de raça e renda no uso dos cuidados de saúde.
Este caso nos aponta muitos fatos e variáveis sobre a desinteligência artificial. Os mais óbvios tratam da ignorância (no mínimo) de desenvolvedores que consideraram a métrica de “recursos gastos” como equivalente a “condições de saúde”, sem analisar adequadamente possíveis vieses decorrentes dessa escolha, e sobre a desumana negligência dos provedores e hospitais particulares de saúde que usaram o sistema algorítmico para otimizar custos, sem exigir auditorias prévias, uma vez que deveriam ser conscientes da factualidade discriminatória na saúde pública.
O caso também nos conta algo além. Se a comercialização de sistemas algorítmicos tem como característica fundamental a tentativa de impor opacidade nos fluxos de trabalho que os mantêm, o que podemos dizer de sistemas algorítmicos baseados em aprendizado de máquina sobre milhares ou milhões de pontos de dados de decisões racistas que já estavam em andamento?
Leia Também:
Cada vez que um médico ignorou a dor de uma pessoa negra, escolheu um procedimento menos eficaz por ser mais barato ou deu atenção apenas a seus iguais, o impacto foi direto naquele paciente e se somou, como ponto de dado, a bases que permitiriam a automatização em escala das decisões racistas.
Podemos realmente pensar em abordagens conexionistas baseadas em históricos de dados quando, infelizmente, a discriminação ainda assola algumas áreas da saúde? Um triste exemplo tem sido nosso histórico recente de controvérsias sobre saúde pública, incluindo casos de negacionismo sobre a vacina contra a covid-19, oposição a médicos cubanos e, mais recentemente, retrocessos contra direitos sexuais e reprodutivos.
Segundo a plataforma Centro de Estudos e Dados sobre Desigualdades Raciais, 29,3% das pessoas negras nunca tinham ido a um dentista, em comparação a 20,1% da população branca. Na faixa etária acima de 18 anos, a taxa de mulheres negras que nunca haviam realizado um exame clínico de mamas era 70% maior do que a de mulheres brancas. Em relação a consultas pré-natal, mulheres negras também tinham realizado um número menor do que o recomendado em até 76% mais vezes do que mulheres brancas.
Não somente em relação ao acesso, mas também em relação aos atendimentos de saúde, um estudo realizado por pesquisadoras da Fiocruz, em 2017, apontou que mulheres negras tanto receberam menos anestesia local em caso de episiotomia, como também menos informação sobre o início do trabalho de parto e possíveis complicações, além de terem mais chances de ter um pré-natal inadequado.
Qualquer sistema de inteligência artificial que venha a utilizar a mesma fonte desses e outros dados que retratam o racismo estrutural e institucional no sistema de saúde brasileiro muito provavelmente estará fadado a reproduzi-lo e potencializá-lo, a não ser que medidas rigorosas de transparência e mitigação de vieses sejam adotadas durante todo o seu ciclo de vida.
Apenas excluir a categoria de raça como uma variável não pode ser visto como suficiente para evitar a discriminação algorítmica. Pode ter efeito contrário. O exemplo do estudo publicado pela Science deixa bem nítido que o racismo pode acontecer mesmo diante da adoção de critérios aparentemente neutros - e é provável que uma das saídas passe justamente por compreender que, em uma sociedade notavelmente marcada por discriminações estruturais, como é o caso do racismo, não há como se falar em neutralidade dos dados.
Eles sempre repetirão uma determinada realidade. Se a realidade do sistema de saúde no Brasil é atravessada por desigualdades raciais, que são, ainda, interseccionadas por desigualdades de gênero, de renda e outras, essa realidade será diretamente reproduzida em um sistema algorítmico adotado inadvertidamente, apenas sob o propósito de “tornar a saúde mais eficiente” e sem qualquer avaliação de risco ou de impacto algorítmico séria.
A tecnologia pode, sim, ser uma aliada da sociedade, mas é importante que essa aliança não seja também com a manutenção de uma estrutura racista, que permeia a saúde, segurança pública e outras áreas chave do Estado brasileiro.