O que dizem os ‘pais da inteligência artificial’ que discordam dos perigos da tecnologia


Yoshua Bengio, Yann LeCun e Geoffrey Hinton mantiveram posições distintas sobre a ‘carta anti-IA’

Por Bruno Romani
Atualização:

A carta que pede uma pausa por seis meses no desenvolvimento de inteligência artificial (IA) reuniu nomes como o bilionário Elon Musk e o historiador Yuval Noah Harari - atualmente, o documento proposto pelo instituto Future of Life já conta com mais de 10 mil assinaturas. Apesar do apoio de parte da comunidade de especialistas em IA, a iniciativa não foi capaz de unir aqueles que são considerados os “pais da inteligência artificial moderna”.

Ganhadores do Prêmio Turing de 2018, reconhecimento máximo na área da computação, os pesquisadores de IA Yann LeCun, Geoffrey Hinton e Yoshua Bengio mantiveram posições bem distintas sobre o conteúdo do documento divulgado na semana passada. A cisão chama a atenção, pois o trabalho do trio em aprendizado profundo (deep learning) e redes neurais (neural network) é considerado pedra fundamental para o avanço da IA nos dias atuais.

continua após a publicidade

Professor da Universidade de Montreal, no Canadá, e diretor científico do Instituto de IA de Quebec, Yoshua Bengio, 59, apoia integralmente a iniciativa, da qual é um dos principais signatários. Em seu site, ele explica o porquê fez parte da carta: “Ultrapassamos um ponto crítico: as máquinas podem conversar com a gente agora e fingem ser seres humanos. Esse pode poder ser usado para fins políticos ao custo da democracia. O desenvolvimento de ferramentas cada vez mais poderosas aumenta o risco de concentração de poder”.

Sobre o tom da carta, criticada por ser alarmista, Bengio diz: “Ninguém, nem mesmo os principais especialistas em IA, incluindo aqueles que desenvolveram os modelos gigantes de IA, tem certeza de que essas ferramentas poderosas não poderão ser usadas de formas que seriam catastróficas para a sociedade”.

Em outro trecho, ele fala sobre a visão distópica da tecnologia: “Já existe literatura que documenta os malefícios atuais que uma regulação ajudaria a minimizar, de violação à dignidade humana ao uso militar de IA”, escreve no site.

continua após a publicidade

Devemos ter medo de inteligência artificial?

Em oposição diretamente oposta está Yann LeCun, 62, professor na Universidade de Nova York e responsável pelas pesquisas em IA do Facebook. Após a divulgação da carta, ele se tornou bastante ativo no Twitter para defender que não é necessário pausar o desenvolvimento da tecnologia e que o tom da iniciativa gera terror e pouco entendimento da tecnologia.

Crítico do ChatGPT, considerado por ele pouco inovador em termos tecnológicos, LeCun afirma que é uma ficção a existência de uma inteligência artificial geral (AGI), sistema onisciente e sabe-tudo com suposta capacidade humana. Portanto, esse medo não deveria estar no centro das preocupações das pessoas.

continua após a publicidade

“Toda tecnologia é desenvolvida da mesma maneira: você cria um protótipo, testa em pequena escala, faz implantação limitada, conserta os problemas, torna mais seguro e implementa de forma mais ampla. Nesse ponto, governos regulam e estabelecem padrões de segurança. A única razão pela qual as pessoas estão hiperventilando sobre os riscos da IA é o mito da ‘decolagem bruta’: a ideia de que, a partir do momento em que você liga um sistema superinteligente, a humanidade está condenada. Isso é absurdamente estúpido e baseado em uma completa falta de entendimento de como tudo funciona”, escreveu.

O principal argumento de LeCun é que os sistemas ainda são limitados e todo o desenvolvimento será acompanhado de limites para que o sistema não se torne hostil à sociedade. Ele se tornou bastante crítico de quem vem fazendo barulho com cenários distópicos - uma posição pouco informada, segundo ele. “O pessimismo com IA está rapidamente se tornando indistinguível de uma religião apocalíptica”, critica.

LeCun vê como infundado o medo por sistemas de IA  Foto: Eric Gaillard/Reuters
continua após a publicidade

Alinhamento de interesses

Um dos principais pontos de discórdia entre Bengio e LeCun é a questão de “alinhamento dos sistemas”, ou seja, garantir que sistemas de IA sempre atendam aos interesses humanos.

Em um debate no Facebook, Bengio afirmou: “O desafio é se podemos lidar com o problema do valor do ‘desalinhamento’. Não sei se conseguimos fazer isso, mas também parece razoável que possamos fazer isso no futuro”, disse. Ou seja, não é possível ter total certeza de que podemos ter sistemas sempre alinhados com os interesses humanos - para ele, 99,9% de possibilidade é o suficiente para lhe deixar desconfortável.

continua após a publicidade

Sobre isso, LeCun afirmou: “Alguém teria que ser inacreditavelmente estúpido para construir objetivos abertos em uma máquina superinteligente”. Para o pesquisador, além de uma realidade distante, máquinas superinteligentes sempre serão desenvolvidas para servir humanos. E, caso algo saia do controle, um segundo sistema de neutralização sempre teria vantagem em relação ao primeiro sistema.

Terceiro elemento é uma incógnita

continua após a publicidade

Entre LeCun e Bengio está o inglês Geoffrey Hinton, 75. Professor da Universidade de Toronto e pesquisador do Google, ele parece ter mudado de opinião sobre os riscos da IA ao longo do tempo. Autor do AlexNet, rede neural de reconhecimento de imagens que revolucionou o desenvolvimento de sistemas do tipo, Hinton não assinou a carta e tampouco se pronunciou sobre o assunto.

Em uma entrevista de 2020 ao Technology Review, ele disse que seriam necessários muitos avanços e descobertas para que o aprendizado profundo fosse capaz de “fazer tudo”. Na época, ele não demonstrava preocupações distópicas, pois via que a tecnologia ainda estava em um estágio muito inicial.

Agora, ele vê os riscos de outra maneira. Em entrevista à CBS News, ele disse que acreditava que uma AGI seria possível entre 20 e 50 anos, mas que sua estimativa tinha caído para menos de 20 anos. Perguntado se acreditava que a IA pode dizimar a humanidade, ele disse: “Não é inconcebível. Isso é tudo o que vou dizer”.

Hinton não discutiu sobre a efetividade de uma pausa ou sobre como desenvolver sistemas de controle sobre a IA.

Hinton passou a demonstrar maior temor sobre IA, mas seus posicionamentos são uma incógnita  Foto: Mark Blinch/Reuters

Prêmio Turing

No começo dos anos 2000, financiado com US$ 400 mil do governo canadense, Hinton organizou uma comunidade de pesquisas com vários acadêmicos que também estudavam IA e aprendizado profundo. O grupo incluía LeCun e Bengio.

Em abril de 2019, a Associação de Máquinas de Computação (ACM, na sigla em inglês), maior sociedade do mundo que reúne profissionais da computação, anunciou que o trio havia ganhado o Prêmio Turing pelo trabalho em redes neurais. A premiação, criada em 1966, é considerada o “Prêmio Nobel da computação” e, além das honrarias, compreende US$ 1 milhão em dinheiro, dividido entre os três cientistas.

Vagamente modelada na rede de neurônios do cérebro humano, uma rede neural é um complexo sistema matemático que pode aprender tarefas distintas analisando enormes quantidades de dados. Ao analisar por exemplo milhares de páginas na Wikipédia, ela pode aprender a escrever texto - é assim que o ChatGPT funciona.

A carta que pede uma pausa por seis meses no desenvolvimento de inteligência artificial (IA) reuniu nomes como o bilionário Elon Musk e o historiador Yuval Noah Harari - atualmente, o documento proposto pelo instituto Future of Life já conta com mais de 10 mil assinaturas. Apesar do apoio de parte da comunidade de especialistas em IA, a iniciativa não foi capaz de unir aqueles que são considerados os “pais da inteligência artificial moderna”.

Ganhadores do Prêmio Turing de 2018, reconhecimento máximo na área da computação, os pesquisadores de IA Yann LeCun, Geoffrey Hinton e Yoshua Bengio mantiveram posições bem distintas sobre o conteúdo do documento divulgado na semana passada. A cisão chama a atenção, pois o trabalho do trio em aprendizado profundo (deep learning) e redes neurais (neural network) é considerado pedra fundamental para o avanço da IA nos dias atuais.

Professor da Universidade de Montreal, no Canadá, e diretor científico do Instituto de IA de Quebec, Yoshua Bengio, 59, apoia integralmente a iniciativa, da qual é um dos principais signatários. Em seu site, ele explica o porquê fez parte da carta: “Ultrapassamos um ponto crítico: as máquinas podem conversar com a gente agora e fingem ser seres humanos. Esse pode poder ser usado para fins políticos ao custo da democracia. O desenvolvimento de ferramentas cada vez mais poderosas aumenta o risco de concentração de poder”.

Sobre o tom da carta, criticada por ser alarmista, Bengio diz: “Ninguém, nem mesmo os principais especialistas em IA, incluindo aqueles que desenvolveram os modelos gigantes de IA, tem certeza de que essas ferramentas poderosas não poderão ser usadas de formas que seriam catastróficas para a sociedade”.

Em outro trecho, ele fala sobre a visão distópica da tecnologia: “Já existe literatura que documenta os malefícios atuais que uma regulação ajudaria a minimizar, de violação à dignidade humana ao uso militar de IA”, escreve no site.

Devemos ter medo de inteligência artificial?

Em oposição diretamente oposta está Yann LeCun, 62, professor na Universidade de Nova York e responsável pelas pesquisas em IA do Facebook. Após a divulgação da carta, ele se tornou bastante ativo no Twitter para defender que não é necessário pausar o desenvolvimento da tecnologia e que o tom da iniciativa gera terror e pouco entendimento da tecnologia.

Crítico do ChatGPT, considerado por ele pouco inovador em termos tecnológicos, LeCun afirma que é uma ficção a existência de uma inteligência artificial geral (AGI), sistema onisciente e sabe-tudo com suposta capacidade humana. Portanto, esse medo não deveria estar no centro das preocupações das pessoas.

“Toda tecnologia é desenvolvida da mesma maneira: você cria um protótipo, testa em pequena escala, faz implantação limitada, conserta os problemas, torna mais seguro e implementa de forma mais ampla. Nesse ponto, governos regulam e estabelecem padrões de segurança. A única razão pela qual as pessoas estão hiperventilando sobre os riscos da IA é o mito da ‘decolagem bruta’: a ideia de que, a partir do momento em que você liga um sistema superinteligente, a humanidade está condenada. Isso é absurdamente estúpido e baseado em uma completa falta de entendimento de como tudo funciona”, escreveu.

O principal argumento de LeCun é que os sistemas ainda são limitados e todo o desenvolvimento será acompanhado de limites para que o sistema não se torne hostil à sociedade. Ele se tornou bastante crítico de quem vem fazendo barulho com cenários distópicos - uma posição pouco informada, segundo ele. “O pessimismo com IA está rapidamente se tornando indistinguível de uma religião apocalíptica”, critica.

LeCun vê como infundado o medo por sistemas de IA  Foto: Eric Gaillard/Reuters

Alinhamento de interesses

Um dos principais pontos de discórdia entre Bengio e LeCun é a questão de “alinhamento dos sistemas”, ou seja, garantir que sistemas de IA sempre atendam aos interesses humanos.

Em um debate no Facebook, Bengio afirmou: “O desafio é se podemos lidar com o problema do valor do ‘desalinhamento’. Não sei se conseguimos fazer isso, mas também parece razoável que possamos fazer isso no futuro”, disse. Ou seja, não é possível ter total certeza de que podemos ter sistemas sempre alinhados com os interesses humanos - para ele, 99,9% de possibilidade é o suficiente para lhe deixar desconfortável.

Sobre isso, LeCun afirmou: “Alguém teria que ser inacreditavelmente estúpido para construir objetivos abertos em uma máquina superinteligente”. Para o pesquisador, além de uma realidade distante, máquinas superinteligentes sempre serão desenvolvidas para servir humanos. E, caso algo saia do controle, um segundo sistema de neutralização sempre teria vantagem em relação ao primeiro sistema.

Terceiro elemento é uma incógnita

Entre LeCun e Bengio está o inglês Geoffrey Hinton, 75. Professor da Universidade de Toronto e pesquisador do Google, ele parece ter mudado de opinião sobre os riscos da IA ao longo do tempo. Autor do AlexNet, rede neural de reconhecimento de imagens que revolucionou o desenvolvimento de sistemas do tipo, Hinton não assinou a carta e tampouco se pronunciou sobre o assunto.

Em uma entrevista de 2020 ao Technology Review, ele disse que seriam necessários muitos avanços e descobertas para que o aprendizado profundo fosse capaz de “fazer tudo”. Na época, ele não demonstrava preocupações distópicas, pois via que a tecnologia ainda estava em um estágio muito inicial.

Agora, ele vê os riscos de outra maneira. Em entrevista à CBS News, ele disse que acreditava que uma AGI seria possível entre 20 e 50 anos, mas que sua estimativa tinha caído para menos de 20 anos. Perguntado se acreditava que a IA pode dizimar a humanidade, ele disse: “Não é inconcebível. Isso é tudo o que vou dizer”.

Hinton não discutiu sobre a efetividade de uma pausa ou sobre como desenvolver sistemas de controle sobre a IA.

Hinton passou a demonstrar maior temor sobre IA, mas seus posicionamentos são uma incógnita  Foto: Mark Blinch/Reuters

Prêmio Turing

No começo dos anos 2000, financiado com US$ 400 mil do governo canadense, Hinton organizou uma comunidade de pesquisas com vários acadêmicos que também estudavam IA e aprendizado profundo. O grupo incluía LeCun e Bengio.

Em abril de 2019, a Associação de Máquinas de Computação (ACM, na sigla em inglês), maior sociedade do mundo que reúne profissionais da computação, anunciou que o trio havia ganhado o Prêmio Turing pelo trabalho em redes neurais. A premiação, criada em 1966, é considerada o “Prêmio Nobel da computação” e, além das honrarias, compreende US$ 1 milhão em dinheiro, dividido entre os três cientistas.

Vagamente modelada na rede de neurônios do cérebro humano, uma rede neural é um complexo sistema matemático que pode aprender tarefas distintas analisando enormes quantidades de dados. Ao analisar por exemplo milhares de páginas na Wikipédia, ela pode aprender a escrever texto - é assim que o ChatGPT funciona.

A carta que pede uma pausa por seis meses no desenvolvimento de inteligência artificial (IA) reuniu nomes como o bilionário Elon Musk e o historiador Yuval Noah Harari - atualmente, o documento proposto pelo instituto Future of Life já conta com mais de 10 mil assinaturas. Apesar do apoio de parte da comunidade de especialistas em IA, a iniciativa não foi capaz de unir aqueles que são considerados os “pais da inteligência artificial moderna”.

Ganhadores do Prêmio Turing de 2018, reconhecimento máximo na área da computação, os pesquisadores de IA Yann LeCun, Geoffrey Hinton e Yoshua Bengio mantiveram posições bem distintas sobre o conteúdo do documento divulgado na semana passada. A cisão chama a atenção, pois o trabalho do trio em aprendizado profundo (deep learning) e redes neurais (neural network) é considerado pedra fundamental para o avanço da IA nos dias atuais.

Professor da Universidade de Montreal, no Canadá, e diretor científico do Instituto de IA de Quebec, Yoshua Bengio, 59, apoia integralmente a iniciativa, da qual é um dos principais signatários. Em seu site, ele explica o porquê fez parte da carta: “Ultrapassamos um ponto crítico: as máquinas podem conversar com a gente agora e fingem ser seres humanos. Esse pode poder ser usado para fins políticos ao custo da democracia. O desenvolvimento de ferramentas cada vez mais poderosas aumenta o risco de concentração de poder”.

Sobre o tom da carta, criticada por ser alarmista, Bengio diz: “Ninguém, nem mesmo os principais especialistas em IA, incluindo aqueles que desenvolveram os modelos gigantes de IA, tem certeza de que essas ferramentas poderosas não poderão ser usadas de formas que seriam catastróficas para a sociedade”.

Em outro trecho, ele fala sobre a visão distópica da tecnologia: “Já existe literatura que documenta os malefícios atuais que uma regulação ajudaria a minimizar, de violação à dignidade humana ao uso militar de IA”, escreve no site.

Devemos ter medo de inteligência artificial?

Em oposição diretamente oposta está Yann LeCun, 62, professor na Universidade de Nova York e responsável pelas pesquisas em IA do Facebook. Após a divulgação da carta, ele se tornou bastante ativo no Twitter para defender que não é necessário pausar o desenvolvimento da tecnologia e que o tom da iniciativa gera terror e pouco entendimento da tecnologia.

Crítico do ChatGPT, considerado por ele pouco inovador em termos tecnológicos, LeCun afirma que é uma ficção a existência de uma inteligência artificial geral (AGI), sistema onisciente e sabe-tudo com suposta capacidade humana. Portanto, esse medo não deveria estar no centro das preocupações das pessoas.

“Toda tecnologia é desenvolvida da mesma maneira: você cria um protótipo, testa em pequena escala, faz implantação limitada, conserta os problemas, torna mais seguro e implementa de forma mais ampla. Nesse ponto, governos regulam e estabelecem padrões de segurança. A única razão pela qual as pessoas estão hiperventilando sobre os riscos da IA é o mito da ‘decolagem bruta’: a ideia de que, a partir do momento em que você liga um sistema superinteligente, a humanidade está condenada. Isso é absurdamente estúpido e baseado em uma completa falta de entendimento de como tudo funciona”, escreveu.

O principal argumento de LeCun é que os sistemas ainda são limitados e todo o desenvolvimento será acompanhado de limites para que o sistema não se torne hostil à sociedade. Ele se tornou bastante crítico de quem vem fazendo barulho com cenários distópicos - uma posição pouco informada, segundo ele. “O pessimismo com IA está rapidamente se tornando indistinguível de uma religião apocalíptica”, critica.

LeCun vê como infundado o medo por sistemas de IA  Foto: Eric Gaillard/Reuters

Alinhamento de interesses

Um dos principais pontos de discórdia entre Bengio e LeCun é a questão de “alinhamento dos sistemas”, ou seja, garantir que sistemas de IA sempre atendam aos interesses humanos.

Em um debate no Facebook, Bengio afirmou: “O desafio é se podemos lidar com o problema do valor do ‘desalinhamento’. Não sei se conseguimos fazer isso, mas também parece razoável que possamos fazer isso no futuro”, disse. Ou seja, não é possível ter total certeza de que podemos ter sistemas sempre alinhados com os interesses humanos - para ele, 99,9% de possibilidade é o suficiente para lhe deixar desconfortável.

Sobre isso, LeCun afirmou: “Alguém teria que ser inacreditavelmente estúpido para construir objetivos abertos em uma máquina superinteligente”. Para o pesquisador, além de uma realidade distante, máquinas superinteligentes sempre serão desenvolvidas para servir humanos. E, caso algo saia do controle, um segundo sistema de neutralização sempre teria vantagem em relação ao primeiro sistema.

Terceiro elemento é uma incógnita

Entre LeCun e Bengio está o inglês Geoffrey Hinton, 75. Professor da Universidade de Toronto e pesquisador do Google, ele parece ter mudado de opinião sobre os riscos da IA ao longo do tempo. Autor do AlexNet, rede neural de reconhecimento de imagens que revolucionou o desenvolvimento de sistemas do tipo, Hinton não assinou a carta e tampouco se pronunciou sobre o assunto.

Em uma entrevista de 2020 ao Technology Review, ele disse que seriam necessários muitos avanços e descobertas para que o aprendizado profundo fosse capaz de “fazer tudo”. Na época, ele não demonstrava preocupações distópicas, pois via que a tecnologia ainda estava em um estágio muito inicial.

Agora, ele vê os riscos de outra maneira. Em entrevista à CBS News, ele disse que acreditava que uma AGI seria possível entre 20 e 50 anos, mas que sua estimativa tinha caído para menos de 20 anos. Perguntado se acreditava que a IA pode dizimar a humanidade, ele disse: “Não é inconcebível. Isso é tudo o que vou dizer”.

Hinton não discutiu sobre a efetividade de uma pausa ou sobre como desenvolver sistemas de controle sobre a IA.

Hinton passou a demonstrar maior temor sobre IA, mas seus posicionamentos são uma incógnita  Foto: Mark Blinch/Reuters

Prêmio Turing

No começo dos anos 2000, financiado com US$ 400 mil do governo canadense, Hinton organizou uma comunidade de pesquisas com vários acadêmicos que também estudavam IA e aprendizado profundo. O grupo incluía LeCun e Bengio.

Em abril de 2019, a Associação de Máquinas de Computação (ACM, na sigla em inglês), maior sociedade do mundo que reúne profissionais da computação, anunciou que o trio havia ganhado o Prêmio Turing pelo trabalho em redes neurais. A premiação, criada em 1966, é considerada o “Prêmio Nobel da computação” e, além das honrarias, compreende US$ 1 milhão em dinheiro, dividido entre os três cientistas.

Vagamente modelada na rede de neurônios do cérebro humano, uma rede neural é um complexo sistema matemático que pode aprender tarefas distintas analisando enormes quantidades de dados. Ao analisar por exemplo milhares de páginas na Wikipédia, ela pode aprender a escrever texto - é assim que o ChatGPT funciona.

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.