‘EUA, China e Rússia lideram desenvolvimento de armas com inteligência artificial’, diz especialista


Para professor de relações internacionais, deixar a máquina decidir no lugar do homem, no caso de armas com IA, pode ter consequências catastróficas

Por Renata Tranches
Atualização:
Foto: ALEX SILVA/ESTADAO
Entrevista comAlcides Peron Professor de relações internacionais da Fecap e pesquisador do Núcleo de Violência da USP

Com o avanço acelerado da inteligência artificial (IA) nas mais variadas áreas, no campo militar não seria diferente. De repente, termos e tecnologias fictícas abordadas em grandes clássicos como o sistema Skynet, de O Exterminador do Futuro, e doomsday machine, de Dr. Fantástico, não parecem tão absurdos.

Segundo o professor de relações internacionais, Alcides Peron, hoje é impossível dissociar o desenvolvimento de armas da inteligência artificial e automação robótica. As grandes potências não falam abertamente, mas há vários indícios de projetos sendo tocados.

Segundo ele, Estados Unidos, China, Reino Unido, Rússia e Israel lideram o desenvolvimento de armas com IA. A automação de decisão no engajamento das armas, porém, provoca muitos temores e debates, mas ainda pode ser barrada. Leia a entrevista ao Estadão.

continua após a publicidade

Qual a conexão que poderíamos fazer hoje entre IA e a área militar, tanto no campo das armas como no comando, na tomada de decisão?

Essa pergunta nos remete à gênese de muitos dos projetos da IA. Se retomarmos a origem de todos os avanços computacionais, notamos que a guerra sempre foi um elemento que motivou o avanço e a inovação no campo da informática.

continua após a publicidade

Evidentemente no caso da IA, na sua origem com a cibernética, no fim da década de 40, início da de 50, a guerra já era um motivador. Descobrir métodos para desenvolver um maior engajamento de armas, o melhor avanço das tropas, o melhor arranjo para a distribuição de recursos na guerra sempre foi algo muito importante.

Com o atual desenvolvimento da IA, com o barateamento dessas tecnologias e a proliferação de profissionais e empresas, com capacidade de fazer essa ponte entre demandas militares e instrumentos disponíveis de IA, evidentemente isso se tornou algo determinante nos conflitos nos últimos dez anos pelo menos.

Como ele se dá, atualmente?

continua após a publicidade

Já há um grande impacto da IA em pelo menos três eixos. O primeiro, o aumento da automação de veículos e instrumentos no campo do conflito. Um segundo, na proliferação de formas de coleta e processamento de dados, aplicado numa melhora no desempenho do conflito. E, por fim, a crescente introjeção de aparatos e instrumentos no campo decisório, para o comando da guerra, na otimização do processo de tomada de decisão e para processos de melhoria na distribuição de recursos.

Em todos os países?

O grande ponto é que isso não é algo distribuído em todo o espectro da guerra ou entre todos os países. Em um primeiro ponto, estão principalmente EUA, China, mesmo Rússia e alguns países europeus e Israel têm essa capacidade de utilização desses aparatos.

continua após a publicidade
Segundo Alcides Peron, pelo menos os últimos quatro planos quinquenais chineses adotaram a ideia de ampliar o desenvolvimento de IA Foto: Alex Silva/Estadão

Em um segundo momento, notamos que não fica restrito à guerra, ou o que entendemos como guerra, como ambiente exclusivo da ocorrência dos conflitos. Vemos como esse aparato está circulando na segurança pública, utilizados por outras plataformas, para outros fins que não apenas os de conflitos diretos. Podemos dizer que o impacto da IA é significativo para as políticas de violência como um todo.

Segundo a revista The Atlantic, o Pentágono já conduz mais de 600 projetos relacionando armas e IA. Pode falar sobre algum projeto que já faz essa ponte?

continua após a publicidade

O Pentágono e as diversas agências americanas têm diversos projetos, o Departamento de Defesa, todos eles têm, e nesses três eixos que eu mencionei. Em primeiro, o campo da automação que, assim como a robótica, é algo muito avançado. Sempre vemos vídeos na internet com aplicações de robôs que conseguem se movimentar em solos bastante complexos. Tudo isso já é algo motivado e aplicado em conflitos, seja para levar algum tipo de recurso numa área arriscada, ou para desarmar bombas.

Essa automação atingiu evidentemente os drones que, pelo menos nos últimos 15 anos, foram se tornando cada vez mais autônomos em diversos aparatos. Como por exemplo o voo, o retorno, a manutenção no ar, o próprio diagnósticos. Mas passou-se também a automatizar cada vez mais a visão do drone com a incorporação de instrumentos relacionados à identificação de alvos. O que está em discussão agora é até que ponto é possível automatizar uma decisão do drone de efetuar um disparo sobre um alvo humano. Isso é um processo que já vem sendo desenvolvido tanto pelo Pentágono quanto por outras agências ligadas à defesa americana.

E com relação aos outros eixos?

continua após a publicidade

Num segundo aspecto, há o processamento de dados. Existem projetos amplamente criticados, um deles é o Project Maven, encabeçado pelo Departamento de Defesa americano, que tinha como objetivo amplificar, melhorar os algoritmos internos dos drones e de outros aparatos de vigilância e monitoramento americano. A ideia era tornar mais rápido o reconhecimento de objetos, condutas, práticas e rostos humanos, principalmente.

O que houve?

Esse projeto ligou um sinal de alerta para diversos ativistas e pesquisadores porque esse não é um projeto exclusivamente das agências de segurança americanas. Buscou-se cooperação com big techs, para que seus algoritmos fossem melhor desenvolvidos. À época, era a Google, uma das bigs que estariam cooperando, mas com denúncia e a mobilização de funcionários, a empresa saiu de cena. E outras bigtechs que estavam na concorrência entraram no lugar.

Por fim, ainda na lógica do terceiro eixo, a gente nota que existe cada vez mais a introdução de um instrumentos para facilitar a tomada de decisão de generais.

Como eles funcionam?

Antes já o NAC (Network Access Control) e outros projetos antigos, mas eram muito determinísticos. O que implica dizer que o general ou todos aqueles mobilizadores da guerra, quando utilizavam esses aparatos, queriam otimizar a distribuição de tropas no solo, a utilização de recursos, manter uma cadeia de logística ativa e sã para continuar o avanço na guerra e nos conflitos nos quais se inseriam. Só que esses modelos eram determinísticos, eles tinham um código de funcionamento e aplicavam aquele código, independente dos territórios.

O que mudou?

A introdução de mecanismos de inteligência artificial, de aprendizado maquínico, está permitindo que, cada vez mais, a máquina consiga se adaptar a ambientes caóticos, complexos e de grande dificuldade de incursão. Isso é o que caracteriza as operações de conflito que os EUA entraram nos últimos 20 anos. Territórios com alta densidade populacional que demandam a mobilização de recursos mais sofisticados.

O governo americano garante que, com tudo que tem sido desenvolvido, as máquinas não deixarão de atuar como tropas. Mas os generais resistirão à tentação de recorrer à IA por exemplo na hora da tomada de decisão, como para avaliar todas as variáveis?

Esse é um grande temor, presente no imaginário americano já há algum tempo. Podemos citar aqui Stanley Kubrick e Dr. Strange Love (Doutor Fantástico), com a ideia do sistema Doomsday machine, uma máquina que tomaria decisão automatizada de ir para o conflito nuclear. Isso já está no imaginário americano e levanta inúmeros questionamentos. Tem mobilizado muita discussão entre ativistas e mesmo dentro do alto comando americano.

O grande problema é que estamos falando de máquinas que poderiam tomar decisões automatizadas sobre entrar e engajar em um conflito em caso de todos os outros sistemas falharem no caso, por exemplo, de um para reconhecimento de um ataque nuclear preventivo. Isso é legar à máquina total liberdade, para tomar uma decisão de fazer uma retaliação nuclear. É algo que tem sido condenado e mobilizado vários ativistas. Legar à máquina uma decisão tão complexa como essa, que envolve arbítrio, que envolve decisões para além da reação, decisões que envolvem cálculos muito mais complexos, fundamentalmente uma decisão de arbítrio humano, sem levar em consideração outras variáveis, é algo muito complexo.

Deixar que isso continue automatizando é uma discussão que está no cerne dos debates contemporâneos, seja nos EUA ou na Europa. A discussão é sobre até que ponto o ser humano não deve participar do processo decisório ou até que ponto ele vai ser legado a mero avaliador dos processo que estão acontecendo. Isso resvala em toda a discussão sobre a ética na IA.

Quais são exatamente os riscos?

Boa parte da discussão hoje revela como muitos dos processos de aprendizado da máquina, muitos dos processos algorítmicos, não são cognoscíveis aos humanos. É uma falta de transparência sobre como esses algoritmos são desenvolvidos. Mas ainda que se tenha essa transparência, muitas vezes não conseguimos interpretar como a máquina vai produzir, por exemplo, uma forma particular de identificação de um rosto ou porque ela tomou determinada decisão. O aprendizado envolve variáveis que muitas vezes nós nem sabíamos que estavam inseridas no cálculo dela.

No caso de um conflito nuclear, de possibilidade de destruição mútua e assegurada, isso fica ainda mais complexo. Quais são as variáveis que uma máquina vai levar em consideração para reagir? Estamos falando não apenas da decisão, mas podemos falar também dos erros. A máquina pode estar suscetível a um conjunto de variáveis e identificar, por exemplo, uma arrevoada de pássaros ou um deslocamento rápido de uma aeronave ou mesmo um míssil que não seja nuclear e se confundir.

Existem hoje inúmeros relatos de como a IA não é tão rigorosa na identificação de certos fenômenos. Isso pode induzir um viés e levar a um erro. Isso seria algo catastrófico.

É necessário muito cuidado com as aplicações, não apenas no seu desenvolvimento, que é algo fundamental, mas manter um controle sobre as práticas de desenvolvimento e o modo como elas serão aplicadas. É necessário transparência para que haja um debate público saudável a respeito desse tipo de introdução e aplicação tecnológica.

Como equilibrar o debate ao mesmo tempo em que há uma disputa entre as grandes potências?

Isso é da ordem do dia. Se nós recuperarmos algumas publicações recentes, principalmente das revistas especializadas de relações internacionais, todas elas vem se convencendo da importância de se pensar numa espécie de segurança tecnológica. Isso envolve a garantia de que pensar a segurança tecnológica em um país, seria pensar como e até que ponto é fundamental manter uma cadeia de suprimento tecnológica assegurada e seu protagonismo nos setores civis e tecnológicos e nos setores de armas.

Hoje, essa discussão sobre segurança tecnológica nos EUA é centrada numa competição direta já reconhecida com a China, mais até do que com a Rússia, principalmente no campo da IA. Os planos quinquenais chineses já vem adotando, pelo menos nos últimos quatro, a ideia de amplificar o desenvolvimento de sistemas de IA, e a sua aplicação para fins civis, de segurança pública, que vem acontecendo muito e é objeto de um grande debate, e, evidentemente, no campo militar.

Essa discussão ligou o sinal de alerta nos EUA. Se pegarmos as estratégias do comando cibernético americano, as estratégias do Departamento de Defesa e mesmo as estratégias de segurança, todas elas apontam para a necessidade de, em primeiro lugar, buscar banir a presença de aparatos tecnológicos ligados à coleta de dados, seja 5G, outras tecnologias chinesas no seu território , e de aliados. Tivemos a presença de americanos aqui, no governo anterior, discutindo sobre a presença de 5G ou não aqui, tentando influenciar essa tomada de decisão. Tudo isso é parte dessa estratégia de expulsar potenciais aparatos que poderiam ser utilizados para a coleta de dados e munir os sistemas de IA chineses.

A competitividade em ter um protagonismo em IA, não apenas no campo militar, mas civil e econômico, está na ordem do dia nos EUA. Isso é algo determinante para a continuidade e manutenção de sua hegemonia ou para manutenção de um progresso econômico de um futuro desafiante da ordem.

Os EUA temem um novo momento Sputnik na IA, especialmente após os testes com o míssil hipersônico russo?

Com relação à introdução de IA, mesmo esses mísseis, eles já contam com um aparato muito sofisticado de mudança de curso, de rota, de sobrevoo rápido, todos munidos de sistema de inteligência própria. Não podemos afirmar que eles teriam mecanismos de IA aplicados ali, mas todos os outros processos decisórios militares e todas as outras incorporações tecnológicas militares russas estão tentando buscar a incorporação de IA. Os sistemas de drones, de radares, de monitoramento, de vigilância, todos já estão incorporando IA. Não só na Rússia, mas nos EUA, na Europa como um todo e também na China. Mas militarmente, os grandes protagonistas têm sido EUA, Inglaterra e China, seguidos de Israel e Rússia.

O objetivo seria esse, de buscar uma capacidade de resposta mais rápida?

A discussão clássica sobre a resposta no campo militar é conseguir ter um tempo de resposta rápida diante de um primeiro ataque. Quanto mais rápido na reação de um primeiro ataque, mais rápido consegue neutralizar as posições inimigas e evitar um contra-ataque, ou mesmo se um ataque muito rápido ao ponto de neutralizar as posições adversárias e não sofrer um contra-ataque. Tudo isso daria uma vantagem no campo nuclear para que pudesse ser uma potência de fato dissuasória, com capacidade de produzir deterrência sólida.

O que a gente vem notando é que o aparato de IA envolve instrumentos aplicados para melhorar a resposta, como sistema de radares, mapeamento de deslocamento de área, todo tipo de variáveis para tentar identificar, por exemplo, um potencial ataque na sua gênese. Isso articula mecanismo de espionagem para verificar como as tomadas de decisão podem ser melhor otimizadas e ter uma resposta mais rápida. Isso é algo que já vem acontecendo e está munindo vários aparatos tecnológicos, seja da Rússia, seja dos EUA. Isso é algo que, em grande medida, avançado principalmente com o programa de mísseis hipersônicos da Rússia, nos últimos dez anos.

No futuro próximo, é bem possível que mesmo as ogivas estejam imbuídas com sistemas de IA para a melhora da sua manobra, algo fundamental para que se garanta que o alvo seja atingido, superando e mecanismos de derrubada antimísseis, como os que existem hoje em dia.

Um outro uso da IA na guerra são as deepfakes. Como a Rússia a usou na guerra na Ucrânia?

A guerra é um mecanismo como múltiplas camadas, não é só a guerra física. Existe uma dimensão política dos discursos e evidentemente existe uma dimensão narrativa da guerra. A gente sabe que a decepção, ou o conflito de narrativas, é algo determinante no conflito. O que notamos é que nos últimos anos o uso malicioso da IA, um movimento conhecido como Malicious Use of Artificial Intelligence (usos maliciosos da IA). Dentre eles, existem diversas formas de aplicação. Uma delas tem sido a criação de deepfakes. Elas nada mais são do que a recriação, por exemplo, de voz, imagem, sobreposição de rostos para, de uma certa forma, induzir a audiência a acreditar que uma pessoa está falando, quando não é ela de verdade.

Houve uma criação de uma deep fake no ano passado de Volodmir Zelenski. Era igualzinho a ele, voz, rosto, tudo gerado pela inteligência artificial. Muitos desses mecanismos estão disponíveis ao público. Nesse vídeo, ele dizia que estava reconhecendo a derrota, já não tinha mais condições de continuar lutando e que as tropas deveriam abandonar suas posições e recuar. Isso tudo mostra o potencial estrago que a introdução da IA tem nos conflitos, nesse (Ucrânia) em particular.

Ainda dá tempo de regular o uso da IA no campo militar?

Tenho uma tese de que boa parte dos aparatos que têm sido aplicados na guerra, mesmo que não sejam especificamente de inteligência artificial, mas que permitiram constante distanciamento no campo de batalha, têm por objetivo de certa forma tornar a guerra algo mais fácil de ser invocada e mobilizada. Isso é bastante problemático. No entanto, venho observando que a sociedade civil organizada vem buscando construir limitação ao uso dessas ferramentas.

A gente nota que na Europa, nos EUA e mesmo no Brasil a gente vem desenvolvendo estratégias para controlar o uso indiscriminado da IA . Cada vez mais a gente nota a produção de agrupamentos da sociedade civil enfrentando o uso malicioso dessas tecnologias e na sua dimensão violenta. Tem crescido em mim uma certa esperança de que muitos desses instrumentos vão ficar, como automação e reconhecimento. Mas acredito que processos decisórios, ao ponto de automatizar uma arma para engajar num ato de violência, é algo que ainda pode passar por discussões e talvez ser barrado.

Há muitas discussões nas Nações Unidas, nos fóruns de direitos humanos, outros campos, que tem tentado construir uma forma de mitigar o uso dessas ferramentas e impedir que o ser humano seja completamente relegado a uma insignificância no processo decisório tão sensível como esse, que é a tomada de decisão de se engajar num ato de violência.

Com o avanço acelerado da inteligência artificial (IA) nas mais variadas áreas, no campo militar não seria diferente. De repente, termos e tecnologias fictícas abordadas em grandes clássicos como o sistema Skynet, de O Exterminador do Futuro, e doomsday machine, de Dr. Fantástico, não parecem tão absurdos.

Segundo o professor de relações internacionais, Alcides Peron, hoje é impossível dissociar o desenvolvimento de armas da inteligência artificial e automação robótica. As grandes potências não falam abertamente, mas há vários indícios de projetos sendo tocados.

Segundo ele, Estados Unidos, China, Reino Unido, Rússia e Israel lideram o desenvolvimento de armas com IA. A automação de decisão no engajamento das armas, porém, provoca muitos temores e debates, mas ainda pode ser barrada. Leia a entrevista ao Estadão.

Qual a conexão que poderíamos fazer hoje entre IA e a área militar, tanto no campo das armas como no comando, na tomada de decisão?

Essa pergunta nos remete à gênese de muitos dos projetos da IA. Se retomarmos a origem de todos os avanços computacionais, notamos que a guerra sempre foi um elemento que motivou o avanço e a inovação no campo da informática.

Evidentemente no caso da IA, na sua origem com a cibernética, no fim da década de 40, início da de 50, a guerra já era um motivador. Descobrir métodos para desenvolver um maior engajamento de armas, o melhor avanço das tropas, o melhor arranjo para a distribuição de recursos na guerra sempre foi algo muito importante.

Com o atual desenvolvimento da IA, com o barateamento dessas tecnologias e a proliferação de profissionais e empresas, com capacidade de fazer essa ponte entre demandas militares e instrumentos disponíveis de IA, evidentemente isso se tornou algo determinante nos conflitos nos últimos dez anos pelo menos.

Como ele se dá, atualmente?

Já há um grande impacto da IA em pelo menos três eixos. O primeiro, o aumento da automação de veículos e instrumentos no campo do conflito. Um segundo, na proliferação de formas de coleta e processamento de dados, aplicado numa melhora no desempenho do conflito. E, por fim, a crescente introjeção de aparatos e instrumentos no campo decisório, para o comando da guerra, na otimização do processo de tomada de decisão e para processos de melhoria na distribuição de recursos.

Em todos os países?

O grande ponto é que isso não é algo distribuído em todo o espectro da guerra ou entre todos os países. Em um primeiro ponto, estão principalmente EUA, China, mesmo Rússia e alguns países europeus e Israel têm essa capacidade de utilização desses aparatos.

Segundo Alcides Peron, pelo menos os últimos quatro planos quinquenais chineses adotaram a ideia de ampliar o desenvolvimento de IA Foto: Alex Silva/Estadão

Em um segundo momento, notamos que não fica restrito à guerra, ou o que entendemos como guerra, como ambiente exclusivo da ocorrência dos conflitos. Vemos como esse aparato está circulando na segurança pública, utilizados por outras plataformas, para outros fins que não apenas os de conflitos diretos. Podemos dizer que o impacto da IA é significativo para as políticas de violência como um todo.

Segundo a revista The Atlantic, o Pentágono já conduz mais de 600 projetos relacionando armas e IA. Pode falar sobre algum projeto que já faz essa ponte?

O Pentágono e as diversas agências americanas têm diversos projetos, o Departamento de Defesa, todos eles têm, e nesses três eixos que eu mencionei. Em primeiro, o campo da automação que, assim como a robótica, é algo muito avançado. Sempre vemos vídeos na internet com aplicações de robôs que conseguem se movimentar em solos bastante complexos. Tudo isso já é algo motivado e aplicado em conflitos, seja para levar algum tipo de recurso numa área arriscada, ou para desarmar bombas.

Essa automação atingiu evidentemente os drones que, pelo menos nos últimos 15 anos, foram se tornando cada vez mais autônomos em diversos aparatos. Como por exemplo o voo, o retorno, a manutenção no ar, o próprio diagnósticos. Mas passou-se também a automatizar cada vez mais a visão do drone com a incorporação de instrumentos relacionados à identificação de alvos. O que está em discussão agora é até que ponto é possível automatizar uma decisão do drone de efetuar um disparo sobre um alvo humano. Isso é um processo que já vem sendo desenvolvido tanto pelo Pentágono quanto por outras agências ligadas à defesa americana.

E com relação aos outros eixos?

Num segundo aspecto, há o processamento de dados. Existem projetos amplamente criticados, um deles é o Project Maven, encabeçado pelo Departamento de Defesa americano, que tinha como objetivo amplificar, melhorar os algoritmos internos dos drones e de outros aparatos de vigilância e monitoramento americano. A ideia era tornar mais rápido o reconhecimento de objetos, condutas, práticas e rostos humanos, principalmente.

O que houve?

Esse projeto ligou um sinal de alerta para diversos ativistas e pesquisadores porque esse não é um projeto exclusivamente das agências de segurança americanas. Buscou-se cooperação com big techs, para que seus algoritmos fossem melhor desenvolvidos. À época, era a Google, uma das bigs que estariam cooperando, mas com denúncia e a mobilização de funcionários, a empresa saiu de cena. E outras bigtechs que estavam na concorrência entraram no lugar.

Por fim, ainda na lógica do terceiro eixo, a gente nota que existe cada vez mais a introdução de um instrumentos para facilitar a tomada de decisão de generais.

Como eles funcionam?

Antes já o NAC (Network Access Control) e outros projetos antigos, mas eram muito determinísticos. O que implica dizer que o general ou todos aqueles mobilizadores da guerra, quando utilizavam esses aparatos, queriam otimizar a distribuição de tropas no solo, a utilização de recursos, manter uma cadeia de logística ativa e sã para continuar o avanço na guerra e nos conflitos nos quais se inseriam. Só que esses modelos eram determinísticos, eles tinham um código de funcionamento e aplicavam aquele código, independente dos territórios.

O que mudou?

A introdução de mecanismos de inteligência artificial, de aprendizado maquínico, está permitindo que, cada vez mais, a máquina consiga se adaptar a ambientes caóticos, complexos e de grande dificuldade de incursão. Isso é o que caracteriza as operações de conflito que os EUA entraram nos últimos 20 anos. Territórios com alta densidade populacional que demandam a mobilização de recursos mais sofisticados.

O governo americano garante que, com tudo que tem sido desenvolvido, as máquinas não deixarão de atuar como tropas. Mas os generais resistirão à tentação de recorrer à IA por exemplo na hora da tomada de decisão, como para avaliar todas as variáveis?

Esse é um grande temor, presente no imaginário americano já há algum tempo. Podemos citar aqui Stanley Kubrick e Dr. Strange Love (Doutor Fantástico), com a ideia do sistema Doomsday machine, uma máquina que tomaria decisão automatizada de ir para o conflito nuclear. Isso já está no imaginário americano e levanta inúmeros questionamentos. Tem mobilizado muita discussão entre ativistas e mesmo dentro do alto comando americano.

O grande problema é que estamos falando de máquinas que poderiam tomar decisões automatizadas sobre entrar e engajar em um conflito em caso de todos os outros sistemas falharem no caso, por exemplo, de um para reconhecimento de um ataque nuclear preventivo. Isso é legar à máquina total liberdade, para tomar uma decisão de fazer uma retaliação nuclear. É algo que tem sido condenado e mobilizado vários ativistas. Legar à máquina uma decisão tão complexa como essa, que envolve arbítrio, que envolve decisões para além da reação, decisões que envolvem cálculos muito mais complexos, fundamentalmente uma decisão de arbítrio humano, sem levar em consideração outras variáveis, é algo muito complexo.

Deixar que isso continue automatizando é uma discussão que está no cerne dos debates contemporâneos, seja nos EUA ou na Europa. A discussão é sobre até que ponto o ser humano não deve participar do processo decisório ou até que ponto ele vai ser legado a mero avaliador dos processo que estão acontecendo. Isso resvala em toda a discussão sobre a ética na IA.

Quais são exatamente os riscos?

Boa parte da discussão hoje revela como muitos dos processos de aprendizado da máquina, muitos dos processos algorítmicos, não são cognoscíveis aos humanos. É uma falta de transparência sobre como esses algoritmos são desenvolvidos. Mas ainda que se tenha essa transparência, muitas vezes não conseguimos interpretar como a máquina vai produzir, por exemplo, uma forma particular de identificação de um rosto ou porque ela tomou determinada decisão. O aprendizado envolve variáveis que muitas vezes nós nem sabíamos que estavam inseridas no cálculo dela.

No caso de um conflito nuclear, de possibilidade de destruição mútua e assegurada, isso fica ainda mais complexo. Quais são as variáveis que uma máquina vai levar em consideração para reagir? Estamos falando não apenas da decisão, mas podemos falar também dos erros. A máquina pode estar suscetível a um conjunto de variáveis e identificar, por exemplo, uma arrevoada de pássaros ou um deslocamento rápido de uma aeronave ou mesmo um míssil que não seja nuclear e se confundir.

Existem hoje inúmeros relatos de como a IA não é tão rigorosa na identificação de certos fenômenos. Isso pode induzir um viés e levar a um erro. Isso seria algo catastrófico.

É necessário muito cuidado com as aplicações, não apenas no seu desenvolvimento, que é algo fundamental, mas manter um controle sobre as práticas de desenvolvimento e o modo como elas serão aplicadas. É necessário transparência para que haja um debate público saudável a respeito desse tipo de introdução e aplicação tecnológica.

Como equilibrar o debate ao mesmo tempo em que há uma disputa entre as grandes potências?

Isso é da ordem do dia. Se nós recuperarmos algumas publicações recentes, principalmente das revistas especializadas de relações internacionais, todas elas vem se convencendo da importância de se pensar numa espécie de segurança tecnológica. Isso envolve a garantia de que pensar a segurança tecnológica em um país, seria pensar como e até que ponto é fundamental manter uma cadeia de suprimento tecnológica assegurada e seu protagonismo nos setores civis e tecnológicos e nos setores de armas.

Hoje, essa discussão sobre segurança tecnológica nos EUA é centrada numa competição direta já reconhecida com a China, mais até do que com a Rússia, principalmente no campo da IA. Os planos quinquenais chineses já vem adotando, pelo menos nos últimos quatro, a ideia de amplificar o desenvolvimento de sistemas de IA, e a sua aplicação para fins civis, de segurança pública, que vem acontecendo muito e é objeto de um grande debate, e, evidentemente, no campo militar.

Essa discussão ligou o sinal de alerta nos EUA. Se pegarmos as estratégias do comando cibernético americano, as estratégias do Departamento de Defesa e mesmo as estratégias de segurança, todas elas apontam para a necessidade de, em primeiro lugar, buscar banir a presença de aparatos tecnológicos ligados à coleta de dados, seja 5G, outras tecnologias chinesas no seu território , e de aliados. Tivemos a presença de americanos aqui, no governo anterior, discutindo sobre a presença de 5G ou não aqui, tentando influenciar essa tomada de decisão. Tudo isso é parte dessa estratégia de expulsar potenciais aparatos que poderiam ser utilizados para a coleta de dados e munir os sistemas de IA chineses.

A competitividade em ter um protagonismo em IA, não apenas no campo militar, mas civil e econômico, está na ordem do dia nos EUA. Isso é algo determinante para a continuidade e manutenção de sua hegemonia ou para manutenção de um progresso econômico de um futuro desafiante da ordem.

Os EUA temem um novo momento Sputnik na IA, especialmente após os testes com o míssil hipersônico russo?

Com relação à introdução de IA, mesmo esses mísseis, eles já contam com um aparato muito sofisticado de mudança de curso, de rota, de sobrevoo rápido, todos munidos de sistema de inteligência própria. Não podemos afirmar que eles teriam mecanismos de IA aplicados ali, mas todos os outros processos decisórios militares e todas as outras incorporações tecnológicas militares russas estão tentando buscar a incorporação de IA. Os sistemas de drones, de radares, de monitoramento, de vigilância, todos já estão incorporando IA. Não só na Rússia, mas nos EUA, na Europa como um todo e também na China. Mas militarmente, os grandes protagonistas têm sido EUA, Inglaterra e China, seguidos de Israel e Rússia.

O objetivo seria esse, de buscar uma capacidade de resposta mais rápida?

A discussão clássica sobre a resposta no campo militar é conseguir ter um tempo de resposta rápida diante de um primeiro ataque. Quanto mais rápido na reação de um primeiro ataque, mais rápido consegue neutralizar as posições inimigas e evitar um contra-ataque, ou mesmo se um ataque muito rápido ao ponto de neutralizar as posições adversárias e não sofrer um contra-ataque. Tudo isso daria uma vantagem no campo nuclear para que pudesse ser uma potência de fato dissuasória, com capacidade de produzir deterrência sólida.

O que a gente vem notando é que o aparato de IA envolve instrumentos aplicados para melhorar a resposta, como sistema de radares, mapeamento de deslocamento de área, todo tipo de variáveis para tentar identificar, por exemplo, um potencial ataque na sua gênese. Isso articula mecanismo de espionagem para verificar como as tomadas de decisão podem ser melhor otimizadas e ter uma resposta mais rápida. Isso é algo que já vem acontecendo e está munindo vários aparatos tecnológicos, seja da Rússia, seja dos EUA. Isso é algo que, em grande medida, avançado principalmente com o programa de mísseis hipersônicos da Rússia, nos últimos dez anos.

No futuro próximo, é bem possível que mesmo as ogivas estejam imbuídas com sistemas de IA para a melhora da sua manobra, algo fundamental para que se garanta que o alvo seja atingido, superando e mecanismos de derrubada antimísseis, como os que existem hoje em dia.

Um outro uso da IA na guerra são as deepfakes. Como a Rússia a usou na guerra na Ucrânia?

A guerra é um mecanismo como múltiplas camadas, não é só a guerra física. Existe uma dimensão política dos discursos e evidentemente existe uma dimensão narrativa da guerra. A gente sabe que a decepção, ou o conflito de narrativas, é algo determinante no conflito. O que notamos é que nos últimos anos o uso malicioso da IA, um movimento conhecido como Malicious Use of Artificial Intelligence (usos maliciosos da IA). Dentre eles, existem diversas formas de aplicação. Uma delas tem sido a criação de deepfakes. Elas nada mais são do que a recriação, por exemplo, de voz, imagem, sobreposição de rostos para, de uma certa forma, induzir a audiência a acreditar que uma pessoa está falando, quando não é ela de verdade.

Houve uma criação de uma deep fake no ano passado de Volodmir Zelenski. Era igualzinho a ele, voz, rosto, tudo gerado pela inteligência artificial. Muitos desses mecanismos estão disponíveis ao público. Nesse vídeo, ele dizia que estava reconhecendo a derrota, já não tinha mais condições de continuar lutando e que as tropas deveriam abandonar suas posições e recuar. Isso tudo mostra o potencial estrago que a introdução da IA tem nos conflitos, nesse (Ucrânia) em particular.

Ainda dá tempo de regular o uso da IA no campo militar?

Tenho uma tese de que boa parte dos aparatos que têm sido aplicados na guerra, mesmo que não sejam especificamente de inteligência artificial, mas que permitiram constante distanciamento no campo de batalha, têm por objetivo de certa forma tornar a guerra algo mais fácil de ser invocada e mobilizada. Isso é bastante problemático. No entanto, venho observando que a sociedade civil organizada vem buscando construir limitação ao uso dessas ferramentas.

A gente nota que na Europa, nos EUA e mesmo no Brasil a gente vem desenvolvendo estratégias para controlar o uso indiscriminado da IA . Cada vez mais a gente nota a produção de agrupamentos da sociedade civil enfrentando o uso malicioso dessas tecnologias e na sua dimensão violenta. Tem crescido em mim uma certa esperança de que muitos desses instrumentos vão ficar, como automação e reconhecimento. Mas acredito que processos decisórios, ao ponto de automatizar uma arma para engajar num ato de violência, é algo que ainda pode passar por discussões e talvez ser barrado.

Há muitas discussões nas Nações Unidas, nos fóruns de direitos humanos, outros campos, que tem tentado construir uma forma de mitigar o uso dessas ferramentas e impedir que o ser humano seja completamente relegado a uma insignificância no processo decisório tão sensível como esse, que é a tomada de decisão de se engajar num ato de violência.

Com o avanço acelerado da inteligência artificial (IA) nas mais variadas áreas, no campo militar não seria diferente. De repente, termos e tecnologias fictícas abordadas em grandes clássicos como o sistema Skynet, de O Exterminador do Futuro, e doomsday machine, de Dr. Fantástico, não parecem tão absurdos.

Segundo o professor de relações internacionais, Alcides Peron, hoje é impossível dissociar o desenvolvimento de armas da inteligência artificial e automação robótica. As grandes potências não falam abertamente, mas há vários indícios de projetos sendo tocados.

Segundo ele, Estados Unidos, China, Reino Unido, Rússia e Israel lideram o desenvolvimento de armas com IA. A automação de decisão no engajamento das armas, porém, provoca muitos temores e debates, mas ainda pode ser barrada. Leia a entrevista ao Estadão.

Qual a conexão que poderíamos fazer hoje entre IA e a área militar, tanto no campo das armas como no comando, na tomada de decisão?

Essa pergunta nos remete à gênese de muitos dos projetos da IA. Se retomarmos a origem de todos os avanços computacionais, notamos que a guerra sempre foi um elemento que motivou o avanço e a inovação no campo da informática.

Evidentemente no caso da IA, na sua origem com a cibernética, no fim da década de 40, início da de 50, a guerra já era um motivador. Descobrir métodos para desenvolver um maior engajamento de armas, o melhor avanço das tropas, o melhor arranjo para a distribuição de recursos na guerra sempre foi algo muito importante.

Com o atual desenvolvimento da IA, com o barateamento dessas tecnologias e a proliferação de profissionais e empresas, com capacidade de fazer essa ponte entre demandas militares e instrumentos disponíveis de IA, evidentemente isso se tornou algo determinante nos conflitos nos últimos dez anos pelo menos.

Como ele se dá, atualmente?

Já há um grande impacto da IA em pelo menos três eixos. O primeiro, o aumento da automação de veículos e instrumentos no campo do conflito. Um segundo, na proliferação de formas de coleta e processamento de dados, aplicado numa melhora no desempenho do conflito. E, por fim, a crescente introjeção de aparatos e instrumentos no campo decisório, para o comando da guerra, na otimização do processo de tomada de decisão e para processos de melhoria na distribuição de recursos.

Em todos os países?

O grande ponto é que isso não é algo distribuído em todo o espectro da guerra ou entre todos os países. Em um primeiro ponto, estão principalmente EUA, China, mesmo Rússia e alguns países europeus e Israel têm essa capacidade de utilização desses aparatos.

Segundo Alcides Peron, pelo menos os últimos quatro planos quinquenais chineses adotaram a ideia de ampliar o desenvolvimento de IA Foto: Alex Silva/Estadão

Em um segundo momento, notamos que não fica restrito à guerra, ou o que entendemos como guerra, como ambiente exclusivo da ocorrência dos conflitos. Vemos como esse aparato está circulando na segurança pública, utilizados por outras plataformas, para outros fins que não apenas os de conflitos diretos. Podemos dizer que o impacto da IA é significativo para as políticas de violência como um todo.

Segundo a revista The Atlantic, o Pentágono já conduz mais de 600 projetos relacionando armas e IA. Pode falar sobre algum projeto que já faz essa ponte?

O Pentágono e as diversas agências americanas têm diversos projetos, o Departamento de Defesa, todos eles têm, e nesses três eixos que eu mencionei. Em primeiro, o campo da automação que, assim como a robótica, é algo muito avançado. Sempre vemos vídeos na internet com aplicações de robôs que conseguem se movimentar em solos bastante complexos. Tudo isso já é algo motivado e aplicado em conflitos, seja para levar algum tipo de recurso numa área arriscada, ou para desarmar bombas.

Essa automação atingiu evidentemente os drones que, pelo menos nos últimos 15 anos, foram se tornando cada vez mais autônomos em diversos aparatos. Como por exemplo o voo, o retorno, a manutenção no ar, o próprio diagnósticos. Mas passou-se também a automatizar cada vez mais a visão do drone com a incorporação de instrumentos relacionados à identificação de alvos. O que está em discussão agora é até que ponto é possível automatizar uma decisão do drone de efetuar um disparo sobre um alvo humano. Isso é um processo que já vem sendo desenvolvido tanto pelo Pentágono quanto por outras agências ligadas à defesa americana.

E com relação aos outros eixos?

Num segundo aspecto, há o processamento de dados. Existem projetos amplamente criticados, um deles é o Project Maven, encabeçado pelo Departamento de Defesa americano, que tinha como objetivo amplificar, melhorar os algoritmos internos dos drones e de outros aparatos de vigilância e monitoramento americano. A ideia era tornar mais rápido o reconhecimento de objetos, condutas, práticas e rostos humanos, principalmente.

O que houve?

Esse projeto ligou um sinal de alerta para diversos ativistas e pesquisadores porque esse não é um projeto exclusivamente das agências de segurança americanas. Buscou-se cooperação com big techs, para que seus algoritmos fossem melhor desenvolvidos. À época, era a Google, uma das bigs que estariam cooperando, mas com denúncia e a mobilização de funcionários, a empresa saiu de cena. E outras bigtechs que estavam na concorrência entraram no lugar.

Por fim, ainda na lógica do terceiro eixo, a gente nota que existe cada vez mais a introdução de um instrumentos para facilitar a tomada de decisão de generais.

Como eles funcionam?

Antes já o NAC (Network Access Control) e outros projetos antigos, mas eram muito determinísticos. O que implica dizer que o general ou todos aqueles mobilizadores da guerra, quando utilizavam esses aparatos, queriam otimizar a distribuição de tropas no solo, a utilização de recursos, manter uma cadeia de logística ativa e sã para continuar o avanço na guerra e nos conflitos nos quais se inseriam. Só que esses modelos eram determinísticos, eles tinham um código de funcionamento e aplicavam aquele código, independente dos territórios.

O que mudou?

A introdução de mecanismos de inteligência artificial, de aprendizado maquínico, está permitindo que, cada vez mais, a máquina consiga se adaptar a ambientes caóticos, complexos e de grande dificuldade de incursão. Isso é o que caracteriza as operações de conflito que os EUA entraram nos últimos 20 anos. Territórios com alta densidade populacional que demandam a mobilização de recursos mais sofisticados.

O governo americano garante que, com tudo que tem sido desenvolvido, as máquinas não deixarão de atuar como tropas. Mas os generais resistirão à tentação de recorrer à IA por exemplo na hora da tomada de decisão, como para avaliar todas as variáveis?

Esse é um grande temor, presente no imaginário americano já há algum tempo. Podemos citar aqui Stanley Kubrick e Dr. Strange Love (Doutor Fantástico), com a ideia do sistema Doomsday machine, uma máquina que tomaria decisão automatizada de ir para o conflito nuclear. Isso já está no imaginário americano e levanta inúmeros questionamentos. Tem mobilizado muita discussão entre ativistas e mesmo dentro do alto comando americano.

O grande problema é que estamos falando de máquinas que poderiam tomar decisões automatizadas sobre entrar e engajar em um conflito em caso de todos os outros sistemas falharem no caso, por exemplo, de um para reconhecimento de um ataque nuclear preventivo. Isso é legar à máquina total liberdade, para tomar uma decisão de fazer uma retaliação nuclear. É algo que tem sido condenado e mobilizado vários ativistas. Legar à máquina uma decisão tão complexa como essa, que envolve arbítrio, que envolve decisões para além da reação, decisões que envolvem cálculos muito mais complexos, fundamentalmente uma decisão de arbítrio humano, sem levar em consideração outras variáveis, é algo muito complexo.

Deixar que isso continue automatizando é uma discussão que está no cerne dos debates contemporâneos, seja nos EUA ou na Europa. A discussão é sobre até que ponto o ser humano não deve participar do processo decisório ou até que ponto ele vai ser legado a mero avaliador dos processo que estão acontecendo. Isso resvala em toda a discussão sobre a ética na IA.

Quais são exatamente os riscos?

Boa parte da discussão hoje revela como muitos dos processos de aprendizado da máquina, muitos dos processos algorítmicos, não são cognoscíveis aos humanos. É uma falta de transparência sobre como esses algoritmos são desenvolvidos. Mas ainda que se tenha essa transparência, muitas vezes não conseguimos interpretar como a máquina vai produzir, por exemplo, uma forma particular de identificação de um rosto ou porque ela tomou determinada decisão. O aprendizado envolve variáveis que muitas vezes nós nem sabíamos que estavam inseridas no cálculo dela.

No caso de um conflito nuclear, de possibilidade de destruição mútua e assegurada, isso fica ainda mais complexo. Quais são as variáveis que uma máquina vai levar em consideração para reagir? Estamos falando não apenas da decisão, mas podemos falar também dos erros. A máquina pode estar suscetível a um conjunto de variáveis e identificar, por exemplo, uma arrevoada de pássaros ou um deslocamento rápido de uma aeronave ou mesmo um míssil que não seja nuclear e se confundir.

Existem hoje inúmeros relatos de como a IA não é tão rigorosa na identificação de certos fenômenos. Isso pode induzir um viés e levar a um erro. Isso seria algo catastrófico.

É necessário muito cuidado com as aplicações, não apenas no seu desenvolvimento, que é algo fundamental, mas manter um controle sobre as práticas de desenvolvimento e o modo como elas serão aplicadas. É necessário transparência para que haja um debate público saudável a respeito desse tipo de introdução e aplicação tecnológica.

Como equilibrar o debate ao mesmo tempo em que há uma disputa entre as grandes potências?

Isso é da ordem do dia. Se nós recuperarmos algumas publicações recentes, principalmente das revistas especializadas de relações internacionais, todas elas vem se convencendo da importância de se pensar numa espécie de segurança tecnológica. Isso envolve a garantia de que pensar a segurança tecnológica em um país, seria pensar como e até que ponto é fundamental manter uma cadeia de suprimento tecnológica assegurada e seu protagonismo nos setores civis e tecnológicos e nos setores de armas.

Hoje, essa discussão sobre segurança tecnológica nos EUA é centrada numa competição direta já reconhecida com a China, mais até do que com a Rússia, principalmente no campo da IA. Os planos quinquenais chineses já vem adotando, pelo menos nos últimos quatro, a ideia de amplificar o desenvolvimento de sistemas de IA, e a sua aplicação para fins civis, de segurança pública, que vem acontecendo muito e é objeto de um grande debate, e, evidentemente, no campo militar.

Essa discussão ligou o sinal de alerta nos EUA. Se pegarmos as estratégias do comando cibernético americano, as estratégias do Departamento de Defesa e mesmo as estratégias de segurança, todas elas apontam para a necessidade de, em primeiro lugar, buscar banir a presença de aparatos tecnológicos ligados à coleta de dados, seja 5G, outras tecnologias chinesas no seu território , e de aliados. Tivemos a presença de americanos aqui, no governo anterior, discutindo sobre a presença de 5G ou não aqui, tentando influenciar essa tomada de decisão. Tudo isso é parte dessa estratégia de expulsar potenciais aparatos que poderiam ser utilizados para a coleta de dados e munir os sistemas de IA chineses.

A competitividade em ter um protagonismo em IA, não apenas no campo militar, mas civil e econômico, está na ordem do dia nos EUA. Isso é algo determinante para a continuidade e manutenção de sua hegemonia ou para manutenção de um progresso econômico de um futuro desafiante da ordem.

Os EUA temem um novo momento Sputnik na IA, especialmente após os testes com o míssil hipersônico russo?

Com relação à introdução de IA, mesmo esses mísseis, eles já contam com um aparato muito sofisticado de mudança de curso, de rota, de sobrevoo rápido, todos munidos de sistema de inteligência própria. Não podemos afirmar que eles teriam mecanismos de IA aplicados ali, mas todos os outros processos decisórios militares e todas as outras incorporações tecnológicas militares russas estão tentando buscar a incorporação de IA. Os sistemas de drones, de radares, de monitoramento, de vigilância, todos já estão incorporando IA. Não só na Rússia, mas nos EUA, na Europa como um todo e também na China. Mas militarmente, os grandes protagonistas têm sido EUA, Inglaterra e China, seguidos de Israel e Rússia.

O objetivo seria esse, de buscar uma capacidade de resposta mais rápida?

A discussão clássica sobre a resposta no campo militar é conseguir ter um tempo de resposta rápida diante de um primeiro ataque. Quanto mais rápido na reação de um primeiro ataque, mais rápido consegue neutralizar as posições inimigas e evitar um contra-ataque, ou mesmo se um ataque muito rápido ao ponto de neutralizar as posições adversárias e não sofrer um contra-ataque. Tudo isso daria uma vantagem no campo nuclear para que pudesse ser uma potência de fato dissuasória, com capacidade de produzir deterrência sólida.

O que a gente vem notando é que o aparato de IA envolve instrumentos aplicados para melhorar a resposta, como sistema de radares, mapeamento de deslocamento de área, todo tipo de variáveis para tentar identificar, por exemplo, um potencial ataque na sua gênese. Isso articula mecanismo de espionagem para verificar como as tomadas de decisão podem ser melhor otimizadas e ter uma resposta mais rápida. Isso é algo que já vem acontecendo e está munindo vários aparatos tecnológicos, seja da Rússia, seja dos EUA. Isso é algo que, em grande medida, avançado principalmente com o programa de mísseis hipersônicos da Rússia, nos últimos dez anos.

No futuro próximo, é bem possível que mesmo as ogivas estejam imbuídas com sistemas de IA para a melhora da sua manobra, algo fundamental para que se garanta que o alvo seja atingido, superando e mecanismos de derrubada antimísseis, como os que existem hoje em dia.

Um outro uso da IA na guerra são as deepfakes. Como a Rússia a usou na guerra na Ucrânia?

A guerra é um mecanismo como múltiplas camadas, não é só a guerra física. Existe uma dimensão política dos discursos e evidentemente existe uma dimensão narrativa da guerra. A gente sabe que a decepção, ou o conflito de narrativas, é algo determinante no conflito. O que notamos é que nos últimos anos o uso malicioso da IA, um movimento conhecido como Malicious Use of Artificial Intelligence (usos maliciosos da IA). Dentre eles, existem diversas formas de aplicação. Uma delas tem sido a criação de deepfakes. Elas nada mais são do que a recriação, por exemplo, de voz, imagem, sobreposição de rostos para, de uma certa forma, induzir a audiência a acreditar que uma pessoa está falando, quando não é ela de verdade.

Houve uma criação de uma deep fake no ano passado de Volodmir Zelenski. Era igualzinho a ele, voz, rosto, tudo gerado pela inteligência artificial. Muitos desses mecanismos estão disponíveis ao público. Nesse vídeo, ele dizia que estava reconhecendo a derrota, já não tinha mais condições de continuar lutando e que as tropas deveriam abandonar suas posições e recuar. Isso tudo mostra o potencial estrago que a introdução da IA tem nos conflitos, nesse (Ucrânia) em particular.

Ainda dá tempo de regular o uso da IA no campo militar?

Tenho uma tese de que boa parte dos aparatos que têm sido aplicados na guerra, mesmo que não sejam especificamente de inteligência artificial, mas que permitiram constante distanciamento no campo de batalha, têm por objetivo de certa forma tornar a guerra algo mais fácil de ser invocada e mobilizada. Isso é bastante problemático. No entanto, venho observando que a sociedade civil organizada vem buscando construir limitação ao uso dessas ferramentas.

A gente nota que na Europa, nos EUA e mesmo no Brasil a gente vem desenvolvendo estratégias para controlar o uso indiscriminado da IA . Cada vez mais a gente nota a produção de agrupamentos da sociedade civil enfrentando o uso malicioso dessas tecnologias e na sua dimensão violenta. Tem crescido em mim uma certa esperança de que muitos desses instrumentos vão ficar, como automação e reconhecimento. Mas acredito que processos decisórios, ao ponto de automatizar uma arma para engajar num ato de violência, é algo que ainda pode passar por discussões e talvez ser barrado.

Há muitas discussões nas Nações Unidas, nos fóruns de direitos humanos, outros campos, que tem tentado construir uma forma de mitigar o uso dessas ferramentas e impedir que o ser humano seja completamente relegado a uma insignificância no processo decisório tão sensível como esse, que é a tomada de decisão de se engajar num ato de violência.

Entrevista por Renata Tranches

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.