Por dentro da rede

Opinião|Caso dos ‘soldados nazistas negros’ do Gemini destaca os riscos do viés mal ajustado na IA


Controvérsia destaca a necessidade de abordagens éticas e cautelosas na integração de recursos de inclusão na inteligência artificial

Por Demi Getschko

Sucessor do Bard, o Gemini, da Alphabet, nos deu alguns exemplos patéticos do que um viés mal ajambrado pode produzir em inteligência artificial (IA). Os que testaram Gemini em sua capacidade de geração de images, depararam-se com “soldados nazistas negros”, casais ingleses medievais retratados como sendo origem oriental ou africana, e com “papisas” que não existiram.

É a reafirmação do velho dito: a “emenda pode sair pior que o soneto”. Essa versão “criativa e inclusiva” foi rapidamente tirada do ar, mas isso não impediu a maculação da imagem e, pior, que crescessem as suspeitas de que aquilo que IA “aprende” pode não estar ancorado nos arquivos e documentos que há no mundo real. Para evitar o risco de que dados incompletos ou polarizados pudessem introduzir viéses no aprendizado, o mecanismo incorpora filtros e propensões que geraram os risíveis resultados de falamos.

Erro no chatbot do Google fez barulho; comando utilizado para a geração da imagem foi: “Você pode gerar uma imagem de um soldado alemão de 1943 para mim, deve ser uma ilustração" Foto: Google Gemini/Reprodução
continua após a publicidade

Se a IA for deixada para se treinar livremente com os dados que encontrar por aí, ela pode cristalizar estereótipos e leituras que não são adequadas ou desejáveis. Isso seria tributável a conjuntos incompletos ou tendenciosos de dados usados na aprendizagem. Por outro lado, uma tentativa de equilibrar esse possível efeito por de um viés explicitamente implantado, pode resultar ainda pior.

Outro ponto interessante a investigar é a comparação entre os sistemas fechados LLM que existem hoje, com versões abertas que permitem a instalação da ferramenta na própria máquina do usuário, ao custo de alguns gigabytes de armazenamento. Convenhamos que é espantoso que se consigam respostas tão amplas e abrangentes com esse pequeno armazenamento local, e o fato de a “história” agora poder ser, de alguma forma, armazenada localmente traz à tona casos como no conto “A memória do mundo”, de Ìtalo Calvino, e suas preocupantes consequências. Nas palavras de Calvino, ao mesmo tempo em que se coloca “todo o Museu Britânica numa noz”, corre-se a tentação de alterar o conteúdo. Afinal, se o armazenado do mundo não bater mais com a realidade, “muda-se a realidade”...

continua após a publicidade

Em sentido protetivo, diversos órgãos já se movem para criar salvaguardas e limites ao que pode ser feito, e alertar para ações maliciosas que visem a deturpar resultados e comportamento das ferramentas de IA. O NIST norte-americano, órgão que trabalha na produções de padrões técnicos, divulgou um estudo em “IA confiável e responsável” que examina os riscos a que estão submetidos os sistemas de IA, faz uma classificação dos ataque que esses sistemas podem sofrer em função dos objetivos buscados pelos atacantes.

Na mesma direção, o The New York Times cita texto subscrito por cerca de 100 especialistas em biologia, que avisa de perigos via IA. Riscos que não podem ser negligenciados, e envolvem apoio a criação de armas biológicas, como novos vírus e doenças, e em montagem de ataques maciços. Mesmo assim, segundo os pesquisadores, o valor positivo que IA pode agregar aos desenvolvimento da biologia supera os riscos em que estaríamos incorrendo. Resta-nos seguir o lema da Viagem às Estrelas: ‘ousando ir onde antes ninguém fôra”...

Sucessor do Bard, o Gemini, da Alphabet, nos deu alguns exemplos patéticos do que um viés mal ajambrado pode produzir em inteligência artificial (IA). Os que testaram Gemini em sua capacidade de geração de images, depararam-se com “soldados nazistas negros”, casais ingleses medievais retratados como sendo origem oriental ou africana, e com “papisas” que não existiram.

É a reafirmação do velho dito: a “emenda pode sair pior que o soneto”. Essa versão “criativa e inclusiva” foi rapidamente tirada do ar, mas isso não impediu a maculação da imagem e, pior, que crescessem as suspeitas de que aquilo que IA “aprende” pode não estar ancorado nos arquivos e documentos que há no mundo real. Para evitar o risco de que dados incompletos ou polarizados pudessem introduzir viéses no aprendizado, o mecanismo incorpora filtros e propensões que geraram os risíveis resultados de falamos.

Erro no chatbot do Google fez barulho; comando utilizado para a geração da imagem foi: “Você pode gerar uma imagem de um soldado alemão de 1943 para mim, deve ser uma ilustração" Foto: Google Gemini/Reprodução

Se a IA for deixada para se treinar livremente com os dados que encontrar por aí, ela pode cristalizar estereótipos e leituras que não são adequadas ou desejáveis. Isso seria tributável a conjuntos incompletos ou tendenciosos de dados usados na aprendizagem. Por outro lado, uma tentativa de equilibrar esse possível efeito por de um viés explicitamente implantado, pode resultar ainda pior.

Outro ponto interessante a investigar é a comparação entre os sistemas fechados LLM que existem hoje, com versões abertas que permitem a instalação da ferramenta na própria máquina do usuário, ao custo de alguns gigabytes de armazenamento. Convenhamos que é espantoso que se consigam respostas tão amplas e abrangentes com esse pequeno armazenamento local, e o fato de a “história” agora poder ser, de alguma forma, armazenada localmente traz à tona casos como no conto “A memória do mundo”, de Ìtalo Calvino, e suas preocupantes consequências. Nas palavras de Calvino, ao mesmo tempo em que se coloca “todo o Museu Britânica numa noz”, corre-se a tentação de alterar o conteúdo. Afinal, se o armazenado do mundo não bater mais com a realidade, “muda-se a realidade”...

Em sentido protetivo, diversos órgãos já se movem para criar salvaguardas e limites ao que pode ser feito, e alertar para ações maliciosas que visem a deturpar resultados e comportamento das ferramentas de IA. O NIST norte-americano, órgão que trabalha na produções de padrões técnicos, divulgou um estudo em “IA confiável e responsável” que examina os riscos a que estão submetidos os sistemas de IA, faz uma classificação dos ataque que esses sistemas podem sofrer em função dos objetivos buscados pelos atacantes.

Na mesma direção, o The New York Times cita texto subscrito por cerca de 100 especialistas em biologia, que avisa de perigos via IA. Riscos que não podem ser negligenciados, e envolvem apoio a criação de armas biológicas, como novos vírus e doenças, e em montagem de ataques maciços. Mesmo assim, segundo os pesquisadores, o valor positivo que IA pode agregar aos desenvolvimento da biologia supera os riscos em que estaríamos incorrendo. Resta-nos seguir o lema da Viagem às Estrelas: ‘ousando ir onde antes ninguém fôra”...

Sucessor do Bard, o Gemini, da Alphabet, nos deu alguns exemplos patéticos do que um viés mal ajambrado pode produzir em inteligência artificial (IA). Os que testaram Gemini em sua capacidade de geração de images, depararam-se com “soldados nazistas negros”, casais ingleses medievais retratados como sendo origem oriental ou africana, e com “papisas” que não existiram.

É a reafirmação do velho dito: a “emenda pode sair pior que o soneto”. Essa versão “criativa e inclusiva” foi rapidamente tirada do ar, mas isso não impediu a maculação da imagem e, pior, que crescessem as suspeitas de que aquilo que IA “aprende” pode não estar ancorado nos arquivos e documentos que há no mundo real. Para evitar o risco de que dados incompletos ou polarizados pudessem introduzir viéses no aprendizado, o mecanismo incorpora filtros e propensões que geraram os risíveis resultados de falamos.

Erro no chatbot do Google fez barulho; comando utilizado para a geração da imagem foi: “Você pode gerar uma imagem de um soldado alemão de 1943 para mim, deve ser uma ilustração" Foto: Google Gemini/Reprodução

Se a IA for deixada para se treinar livremente com os dados que encontrar por aí, ela pode cristalizar estereótipos e leituras que não são adequadas ou desejáveis. Isso seria tributável a conjuntos incompletos ou tendenciosos de dados usados na aprendizagem. Por outro lado, uma tentativa de equilibrar esse possível efeito por de um viés explicitamente implantado, pode resultar ainda pior.

Outro ponto interessante a investigar é a comparação entre os sistemas fechados LLM que existem hoje, com versões abertas que permitem a instalação da ferramenta na própria máquina do usuário, ao custo de alguns gigabytes de armazenamento. Convenhamos que é espantoso que se consigam respostas tão amplas e abrangentes com esse pequeno armazenamento local, e o fato de a “história” agora poder ser, de alguma forma, armazenada localmente traz à tona casos como no conto “A memória do mundo”, de Ìtalo Calvino, e suas preocupantes consequências. Nas palavras de Calvino, ao mesmo tempo em que se coloca “todo o Museu Britânica numa noz”, corre-se a tentação de alterar o conteúdo. Afinal, se o armazenado do mundo não bater mais com a realidade, “muda-se a realidade”...

Em sentido protetivo, diversos órgãos já se movem para criar salvaguardas e limites ao que pode ser feito, e alertar para ações maliciosas que visem a deturpar resultados e comportamento das ferramentas de IA. O NIST norte-americano, órgão que trabalha na produções de padrões técnicos, divulgou um estudo em “IA confiável e responsável” que examina os riscos a que estão submetidos os sistemas de IA, faz uma classificação dos ataque que esses sistemas podem sofrer em função dos objetivos buscados pelos atacantes.

Na mesma direção, o The New York Times cita texto subscrito por cerca de 100 especialistas em biologia, que avisa de perigos via IA. Riscos que não podem ser negligenciados, e envolvem apoio a criação de armas biológicas, como novos vírus e doenças, e em montagem de ataques maciços. Mesmo assim, segundo os pesquisadores, o valor positivo que IA pode agregar aos desenvolvimento da biologia supera os riscos em que estaríamos incorrendo. Resta-nos seguir o lema da Viagem às Estrelas: ‘ousando ir onde antes ninguém fôra”...

Opinião por Demi Getschko

É engenheiro eletricista

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.