Por dentro da rede

Opinião|O uso da IA em conflitos armados é uma aposta no escuro


Temos uma tendência atávica de abrir “caixas de Pandora” que podem nos levar à autodestruição

Por Demi Getschko
Drones são dispostivios aéreos controlados remotamente por um humano Foto: Christian Hartmann/Reuters - 21/6/21

Um relatório das Nações Unidas sobre uma reunião de especialistas sobre o conflito na Líbia deixa a entender que, em março de 2020, houve um ataque “bem-sucedido” por “drones do tipo quadricóptero”. Os veículos aéreos não tripulados contariam com câmera, armamento e a indefectível inteligência artificial (IA) para os guiar e tomar as decisões.

Na cruenta história das guerras, a supressão de vidas em combates foi uma constante, e acaba representada por frias tabelas numéricas e estatísticas anódinas. Exceto nos casos acidentais, as mortes foram resultantes da ação deliberada de humanos, seja em combates corpo a corpo, seja em bombardeios. Mas, mesmo nos piores casos, há linhas éticas que devem ser respeitadas, e efeitos colaterais que precisam ser minimizados. Veja-se, por exemplo, a necessidade de se removerem as minas anti-indivíduos que ficaram sem ter sido detonadas, para que não se tornem, anos depois, ameaças a terceiros. Há acordos internacionais que preveem limitações em armas nucleares, químicas e biológicas, numa tentativa de demarcar a linha ética que não se deveria cruzar.

continua após a publicidade

Como se coloca aí o problema de equipamentos autônomos com IA? Pode-se argumentar que, com o avanço da IA e dos equipamentos, o número de erros que essas máquinas fariam seria menor do que se essas mesmas operações estivessem a cargo de humanos. Eu não compro esse argumento. Delegar decisões, mormente as que envolvem vida ou morte, a máquinas, além de parecer uma declaração tácita de falência moral, pode carrear consequências que não se conseguiria avaliar hoje.

Lembro da cena do filme baseado em conto de Arthur Clarke 2001, uma Odisséia no Espaço, em que um computador com IA – o HAL 9000 – decide não permitir que o astronauta volte à segurança da nave, porque o programa chegou à conclusão de que isso colocaria em risco o objetivo final da missão. Mais um caso em que o fim buscado justificaria os meios, na voz sintética do HAL 9000: “Esta missão é muito importante, e não vou permitir que você a coloque em risco”.

Outro argumento é o de que, se houver uma auditoria profunda nos programas escritos, teríamos como prevenir ou impedir vieses e fatalidades. Também não me convence. Como exemplo, vejam-se os programas que aprendem a jogar xadrez, partindo apenas das regras do jogo e usando aprendizagem de máquina. Com algumas horas de treino, esses programas ganham de grandes mestres e, com muito mais facilidade, do mesmo humano que escreveu o programa original. Ou seja, evoluíram para examinar autonomamente situações de jogo e, sem trapaça, montar uma estratégia ganhadora.

continua após a publicidade

Temos uma tendência atávica de abrir “caixas de Pandora” que podem nos levar à autodestruição.

Tópico do momento: hoje se pesquisa e se debate a origem do vírus da covid. Saiu de laboratório ou da natureza? Não tenho competência para opinar, mas ficaria mais confortável se fosse o resultado de um experimento que vazou. Tento explicar: se for algo da natureza, estamos diante de situações perigosas, de difícil prognóstico e controle. Mas, se foi um produto humano que escapou acidentalmente, isso poderia se enquadrar – caso análogo a alguma IA – em uma ousadia humana que pode gerar acidente devastador. Sempre poderíamos declarar que “a linha de prudência foi ultrapassada” e que certos experimentos devem obedecer a restrições éticas e morais.

Há uma frase centenária de G. K. Chesterton que ainda se aplica bem: “Hoje aprendemos a fazer coisas maravilhosas. Nossa próxima tarefa é aprender quando não fazê-las”. 

continua após a publicidade

*É ENGENHEIRO ELETRICISTA

Drones são dispostivios aéreos controlados remotamente por um humano Foto: Christian Hartmann/Reuters - 21/6/21

Um relatório das Nações Unidas sobre uma reunião de especialistas sobre o conflito na Líbia deixa a entender que, em março de 2020, houve um ataque “bem-sucedido” por “drones do tipo quadricóptero”. Os veículos aéreos não tripulados contariam com câmera, armamento e a indefectível inteligência artificial (IA) para os guiar e tomar as decisões.

Na cruenta história das guerras, a supressão de vidas em combates foi uma constante, e acaba representada por frias tabelas numéricas e estatísticas anódinas. Exceto nos casos acidentais, as mortes foram resultantes da ação deliberada de humanos, seja em combates corpo a corpo, seja em bombardeios. Mas, mesmo nos piores casos, há linhas éticas que devem ser respeitadas, e efeitos colaterais que precisam ser minimizados. Veja-se, por exemplo, a necessidade de se removerem as minas anti-indivíduos que ficaram sem ter sido detonadas, para que não se tornem, anos depois, ameaças a terceiros. Há acordos internacionais que preveem limitações em armas nucleares, químicas e biológicas, numa tentativa de demarcar a linha ética que não se deveria cruzar.

Como se coloca aí o problema de equipamentos autônomos com IA? Pode-se argumentar que, com o avanço da IA e dos equipamentos, o número de erros que essas máquinas fariam seria menor do que se essas mesmas operações estivessem a cargo de humanos. Eu não compro esse argumento. Delegar decisões, mormente as que envolvem vida ou morte, a máquinas, além de parecer uma declaração tácita de falência moral, pode carrear consequências que não se conseguiria avaliar hoje.

Lembro da cena do filme baseado em conto de Arthur Clarke 2001, uma Odisséia no Espaço, em que um computador com IA – o HAL 9000 – decide não permitir que o astronauta volte à segurança da nave, porque o programa chegou à conclusão de que isso colocaria em risco o objetivo final da missão. Mais um caso em que o fim buscado justificaria os meios, na voz sintética do HAL 9000: “Esta missão é muito importante, e não vou permitir que você a coloque em risco”.

Outro argumento é o de que, se houver uma auditoria profunda nos programas escritos, teríamos como prevenir ou impedir vieses e fatalidades. Também não me convence. Como exemplo, vejam-se os programas que aprendem a jogar xadrez, partindo apenas das regras do jogo e usando aprendizagem de máquina. Com algumas horas de treino, esses programas ganham de grandes mestres e, com muito mais facilidade, do mesmo humano que escreveu o programa original. Ou seja, evoluíram para examinar autonomamente situações de jogo e, sem trapaça, montar uma estratégia ganhadora.

Temos uma tendência atávica de abrir “caixas de Pandora” que podem nos levar à autodestruição.

Tópico do momento: hoje se pesquisa e se debate a origem do vírus da covid. Saiu de laboratório ou da natureza? Não tenho competência para opinar, mas ficaria mais confortável se fosse o resultado de um experimento que vazou. Tento explicar: se for algo da natureza, estamos diante de situações perigosas, de difícil prognóstico e controle. Mas, se foi um produto humano que escapou acidentalmente, isso poderia se enquadrar – caso análogo a alguma IA – em uma ousadia humana que pode gerar acidente devastador. Sempre poderíamos declarar que “a linha de prudência foi ultrapassada” e que certos experimentos devem obedecer a restrições éticas e morais.

Há uma frase centenária de G. K. Chesterton que ainda se aplica bem: “Hoje aprendemos a fazer coisas maravilhosas. Nossa próxima tarefa é aprender quando não fazê-las”. 

*É ENGENHEIRO ELETRICISTA

Drones são dispostivios aéreos controlados remotamente por um humano Foto: Christian Hartmann/Reuters - 21/6/21

Um relatório das Nações Unidas sobre uma reunião de especialistas sobre o conflito na Líbia deixa a entender que, em março de 2020, houve um ataque “bem-sucedido” por “drones do tipo quadricóptero”. Os veículos aéreos não tripulados contariam com câmera, armamento e a indefectível inteligência artificial (IA) para os guiar e tomar as decisões.

Na cruenta história das guerras, a supressão de vidas em combates foi uma constante, e acaba representada por frias tabelas numéricas e estatísticas anódinas. Exceto nos casos acidentais, as mortes foram resultantes da ação deliberada de humanos, seja em combates corpo a corpo, seja em bombardeios. Mas, mesmo nos piores casos, há linhas éticas que devem ser respeitadas, e efeitos colaterais que precisam ser minimizados. Veja-se, por exemplo, a necessidade de se removerem as minas anti-indivíduos que ficaram sem ter sido detonadas, para que não se tornem, anos depois, ameaças a terceiros. Há acordos internacionais que preveem limitações em armas nucleares, químicas e biológicas, numa tentativa de demarcar a linha ética que não se deveria cruzar.

Como se coloca aí o problema de equipamentos autônomos com IA? Pode-se argumentar que, com o avanço da IA e dos equipamentos, o número de erros que essas máquinas fariam seria menor do que se essas mesmas operações estivessem a cargo de humanos. Eu não compro esse argumento. Delegar decisões, mormente as que envolvem vida ou morte, a máquinas, além de parecer uma declaração tácita de falência moral, pode carrear consequências que não se conseguiria avaliar hoje.

Lembro da cena do filme baseado em conto de Arthur Clarke 2001, uma Odisséia no Espaço, em que um computador com IA – o HAL 9000 – decide não permitir que o astronauta volte à segurança da nave, porque o programa chegou à conclusão de que isso colocaria em risco o objetivo final da missão. Mais um caso em que o fim buscado justificaria os meios, na voz sintética do HAL 9000: “Esta missão é muito importante, e não vou permitir que você a coloque em risco”.

Outro argumento é o de que, se houver uma auditoria profunda nos programas escritos, teríamos como prevenir ou impedir vieses e fatalidades. Também não me convence. Como exemplo, vejam-se os programas que aprendem a jogar xadrez, partindo apenas das regras do jogo e usando aprendizagem de máquina. Com algumas horas de treino, esses programas ganham de grandes mestres e, com muito mais facilidade, do mesmo humano que escreveu o programa original. Ou seja, evoluíram para examinar autonomamente situações de jogo e, sem trapaça, montar uma estratégia ganhadora.

Temos uma tendência atávica de abrir “caixas de Pandora” que podem nos levar à autodestruição.

Tópico do momento: hoje se pesquisa e se debate a origem do vírus da covid. Saiu de laboratório ou da natureza? Não tenho competência para opinar, mas ficaria mais confortável se fosse o resultado de um experimento que vazou. Tento explicar: se for algo da natureza, estamos diante de situações perigosas, de difícil prognóstico e controle. Mas, se foi um produto humano que escapou acidentalmente, isso poderia se enquadrar – caso análogo a alguma IA – em uma ousadia humana que pode gerar acidente devastador. Sempre poderíamos declarar que “a linha de prudência foi ultrapassada” e que certos experimentos devem obedecer a restrições éticas e morais.

Há uma frase centenária de G. K. Chesterton que ainda se aplica bem: “Hoje aprendemos a fazer coisas maravilhosas. Nossa próxima tarefa é aprender quando não fazê-las”. 

*É ENGENHEIRO ELETRICISTA

Opinião por Demi Getschko

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.