Sistemas de inteligência artificial podem destruir a humanidade?


Especialistas na tecnologia fazem advertência assustadoras, mas previsões não trazem detalhes

Por Cade Metz

THE NEW YORK TIMES - No mês passado, centenas de personalidades no mundo da inteligência artificial (IA) assinaram uma carta aberta alertando que a tecnologia poderia um dia destruir a humanidade. “Mitigar o risco de extinção pela IA deve ser uma prioridade global, juntamente com outros riscos em escala societária, como pandemias e guerra nuclear”, diz a declaração de uma única frase. A carta foi a mais recente de uma série de advertências alarmantes sobre a IA que têm sido notavelmente escassas em detalhes. Os sistemas de IA de hoje não podem destruir a humanidade. Alguns deles mal conseguem somar e subtrair. Então, por que as pessoas que mais sabem sobre IA estão tão preocupadas?

O cenário soa assustador: Um dia, dizem os figurões da indústria tecnológica, empresas, governos ou pesquisadores independentes poderiam implementar sistemas de IA poderosos capazes de lidar com tudo, desde negócios até guerra. Esses sistemas poderiam fazer coisas que não queremos que eles façam. E se os humanos tentassem interferir ou desligá-los, eles poderiam resistir ou até mesmo se replicar para continuar operando.

“Os sistemas de hoje não estão nem perto de representar um risco existencial”, diz Yoshua Bengio, pesquisador da Universidade de Montreal considerado um dos pais da IA “moderna”. “Mas em um, dois, cinco anos? Há muita incerteza. Esse é o problema. Não temos certeza de que isso não passará de um ponto em que as coisas se tornam catastróficas,” completa.

continua após a publicidade

Os mais preocupados costumam usar uma metáfora simples. Se você pedir a uma máquina para criar o maior número possível de clipes de papel, eles dizem, ela poderia se exceder e transformar tudo - incluindo a humanidade - em fábricas de clipes de papel.

Como isso se liga ao mundo real - ou a um suposto mundo não muito distante no futuro? As empresas poderiam dar aos sistemas de IA mais e mais autonomia e conectá-los à infraestrutura vital, incluindo redes de energia, mercados de ações e armas militares. A partir daí, eles poderiam causar problemas.

continua após a publicidade

Para muitos especialistas, isso não parecia tão plausível até bem recentemente, quando empresas como a OpenAI demonstraram melhorias significativas em sua tecnologia. Isso mostrou o que poderia ser possível se a IA continuar a avançar em um ritmo tão rápido.

“A IA será gradualmente delegada e poderá - à medida que se torna mais autônoma - usurpar a tomada de decisões e o pensamento dos atuais humanos e instituições dirigidas por humanos”, diz Anthony Aguirre, cosmologista na Universidade da Califórnia, Santa Cruz e um dos fundadores do Future of Life Institute, a organização por trás de uma das duas cartas abertas.

“Em algum ponto, ficaria claro que a máquina em comando da sociedade e a economia não está realmente sob controle humano, nem pode ser desligada”, diz.

continua após a publicidade

Outros especialistas em IA acreditam que é uma premissa ridícula. “Hipotético é uma maneira tão educada de expressar o que penso sobre a conversa do risco existencial”, disse Oren Etzioni, fundador e diretor executivo do Allen Institute for AI, um laboratório de pesquisa em Seattle.

Existem sinais de que a IA pode tomar o controle da sociedade?

Não exatamente. Mas os pesquisadores estão transformando chatbots, como o ChatGPT, em sistemas que podem tomar ações com base no texto que geram. Um projeto chamado AutoGPT é o exemplo principal.

continua após a publicidade

A ideia é dar ao sistema metas como “criar uma empresa” ou “ganhar dinheiro”. Então ele continuará procurando maneiras de atingir esse objetivo, especialmente se estiver conectado a outros serviços de internet.

ChatGPT foi lançado em novembro de 2022 pela empresa de tecnologia OpenAI Foto: Gabby Jones / WashingtonPost

Um sistema como o AutoGPT pode, por exemplo, gerar programas de computador. Se os pesquisadores derem a ele acesso a um servidor de computador, ele poderia realmente executar esses programas. Em teoria, essa é uma maneira do AutoGPT fazer quase qualquer coisa online - buscar informações, usar aplicativos, criar novos aplicativos, até se aprimorar.

continua após a publicidade

Por enquanto, sistemas como o AutoGPT não funcionam bem - pesquisadores deram a um sistema todos os recursos de que precisava para se replicar, mas ele não conseguiu. No entanto, com o tempo, essas limitações poderiam ser corrigidas. “As pessoas estão tentando ativamente construir sistemas que se aprimoram”, disse Connor Leahy, fundador da Conjecture, empresa que diz querer alinhar as tecnologias de IA com os valores humanos. “Atualmente, isso não funciona. Mas um dia, funcionará. E não sabemos quando será esse dia.”

Leahy argumenta que à medida que pesquisadores, empresas e criminosos dão a esses sistemas metas como “ganhar dinheiro”, eles poderiam acabar invadindo sistemas bancários.

De onde os sistemas de IA poderiam aprender a se comportar mal?

continua após a publicidade

Sistemas de IA como o ChatGPT são construídos com base em redes neurais, sistemas matemáticos que podem aprender habilidades analisando dados.

Por volta de 2018, empresas como Google e OpenAI começaram a construir redes neurais que aprendiam a partir de grandes quantidades de texto extraído da internet. Ao identificar padrões em todos esses dados, esses sistemas aprendem a gerar textos por conta própria, incluindo artigos de notícias, poemas, programas de computador e até conversas semelhantes às humanas. O resultado: chatbots como o ChatGPT.

Por aprenderem com tantos dados, esses sistemas também exibem comportamento inesperado. Recentemente, pesquisadores mostraram que um sistema conseguiu contratar um humano online para vencer um teste de Captcha. Quando o humano perguntou se era “um robô”, o sistema mentiu e disse que era uma pessoa com deficiência visual.

Alguns especialistas se preocupam que, à medida que os pesquisadores tornam esses sistemas mais poderosos, eles poderiam aprender mais maus hábitos.

Quem está por trás desses alertas?

No início dos anos 2000, um jovem escritor chamado Eliezer Yudkowsky começou a alertar que a IA poderia destruir a humanidade. Seus posts online geraram uma comunidade de “fiéis”. Chamada de racionalistas ou altruístas eficazes, esta comunidade se tornou extremamente influente na academia, em think tanks governamentais e na indústria de tecnologia.

Yudkowsky e seus textos desempenharam papéis fundamentais na criação da OpenAI e da DeepMind, startup de IA que o Google adquiriu em 2014. Muitos seguidores desse grupo trabalharam dentro nessas empresas. Eles acreditavam que, porque entendiam os perigos da IA, estavam na melhor posição para construí-la.

As duas organizações que recentemente divulgaram cartas abertas alertando sobre os riscos da IA - o Center for AI Safety e o Future of Life Institute - estão intimamente ligadas a esse movimento.

Os recentes alertas também vieram de pioneiros da pesquisa e líderes da indústria, como Elon Musk. A mais recente carta foi assinada por Sam Altman, diretor executivo da OpenAI; e Demis Hassabis, que ajudou a fundar a DeepMind e agora supervisiona um novo laboratório de IA.

Outras figuras respeitadas assinaram uma ou ambas as cartas de advertência, incluindo Yoshua Bengio e Geoffrey Hinton, que recentemente deixou o Google. Em 2018, eles receberam o Prêmio Turing, muitas vezes chamado de “Nobel da computação”, por seu trabalho em redes neurais.

THE NEW YORK TIMES - No mês passado, centenas de personalidades no mundo da inteligência artificial (IA) assinaram uma carta aberta alertando que a tecnologia poderia um dia destruir a humanidade. “Mitigar o risco de extinção pela IA deve ser uma prioridade global, juntamente com outros riscos em escala societária, como pandemias e guerra nuclear”, diz a declaração de uma única frase. A carta foi a mais recente de uma série de advertências alarmantes sobre a IA que têm sido notavelmente escassas em detalhes. Os sistemas de IA de hoje não podem destruir a humanidade. Alguns deles mal conseguem somar e subtrair. Então, por que as pessoas que mais sabem sobre IA estão tão preocupadas?

O cenário soa assustador: Um dia, dizem os figurões da indústria tecnológica, empresas, governos ou pesquisadores independentes poderiam implementar sistemas de IA poderosos capazes de lidar com tudo, desde negócios até guerra. Esses sistemas poderiam fazer coisas que não queremos que eles façam. E se os humanos tentassem interferir ou desligá-los, eles poderiam resistir ou até mesmo se replicar para continuar operando.

“Os sistemas de hoje não estão nem perto de representar um risco existencial”, diz Yoshua Bengio, pesquisador da Universidade de Montreal considerado um dos pais da IA “moderna”. “Mas em um, dois, cinco anos? Há muita incerteza. Esse é o problema. Não temos certeza de que isso não passará de um ponto em que as coisas se tornam catastróficas,” completa.

Os mais preocupados costumam usar uma metáfora simples. Se você pedir a uma máquina para criar o maior número possível de clipes de papel, eles dizem, ela poderia se exceder e transformar tudo - incluindo a humanidade - em fábricas de clipes de papel.

Como isso se liga ao mundo real - ou a um suposto mundo não muito distante no futuro? As empresas poderiam dar aos sistemas de IA mais e mais autonomia e conectá-los à infraestrutura vital, incluindo redes de energia, mercados de ações e armas militares. A partir daí, eles poderiam causar problemas.

Para muitos especialistas, isso não parecia tão plausível até bem recentemente, quando empresas como a OpenAI demonstraram melhorias significativas em sua tecnologia. Isso mostrou o que poderia ser possível se a IA continuar a avançar em um ritmo tão rápido.

“A IA será gradualmente delegada e poderá - à medida que se torna mais autônoma - usurpar a tomada de decisões e o pensamento dos atuais humanos e instituições dirigidas por humanos”, diz Anthony Aguirre, cosmologista na Universidade da Califórnia, Santa Cruz e um dos fundadores do Future of Life Institute, a organização por trás de uma das duas cartas abertas.

“Em algum ponto, ficaria claro que a máquina em comando da sociedade e a economia não está realmente sob controle humano, nem pode ser desligada”, diz.

Outros especialistas em IA acreditam que é uma premissa ridícula. “Hipotético é uma maneira tão educada de expressar o que penso sobre a conversa do risco existencial”, disse Oren Etzioni, fundador e diretor executivo do Allen Institute for AI, um laboratório de pesquisa em Seattle.

Existem sinais de que a IA pode tomar o controle da sociedade?

Não exatamente. Mas os pesquisadores estão transformando chatbots, como o ChatGPT, em sistemas que podem tomar ações com base no texto que geram. Um projeto chamado AutoGPT é o exemplo principal.

A ideia é dar ao sistema metas como “criar uma empresa” ou “ganhar dinheiro”. Então ele continuará procurando maneiras de atingir esse objetivo, especialmente se estiver conectado a outros serviços de internet.

ChatGPT foi lançado em novembro de 2022 pela empresa de tecnologia OpenAI Foto: Gabby Jones / WashingtonPost

Um sistema como o AutoGPT pode, por exemplo, gerar programas de computador. Se os pesquisadores derem a ele acesso a um servidor de computador, ele poderia realmente executar esses programas. Em teoria, essa é uma maneira do AutoGPT fazer quase qualquer coisa online - buscar informações, usar aplicativos, criar novos aplicativos, até se aprimorar.

Por enquanto, sistemas como o AutoGPT não funcionam bem - pesquisadores deram a um sistema todos os recursos de que precisava para se replicar, mas ele não conseguiu. No entanto, com o tempo, essas limitações poderiam ser corrigidas. “As pessoas estão tentando ativamente construir sistemas que se aprimoram”, disse Connor Leahy, fundador da Conjecture, empresa que diz querer alinhar as tecnologias de IA com os valores humanos. “Atualmente, isso não funciona. Mas um dia, funcionará. E não sabemos quando será esse dia.”

Leahy argumenta que à medida que pesquisadores, empresas e criminosos dão a esses sistemas metas como “ganhar dinheiro”, eles poderiam acabar invadindo sistemas bancários.

De onde os sistemas de IA poderiam aprender a se comportar mal?

Sistemas de IA como o ChatGPT são construídos com base em redes neurais, sistemas matemáticos que podem aprender habilidades analisando dados.

Por volta de 2018, empresas como Google e OpenAI começaram a construir redes neurais que aprendiam a partir de grandes quantidades de texto extraído da internet. Ao identificar padrões em todos esses dados, esses sistemas aprendem a gerar textos por conta própria, incluindo artigos de notícias, poemas, programas de computador e até conversas semelhantes às humanas. O resultado: chatbots como o ChatGPT.

Por aprenderem com tantos dados, esses sistemas também exibem comportamento inesperado. Recentemente, pesquisadores mostraram que um sistema conseguiu contratar um humano online para vencer um teste de Captcha. Quando o humano perguntou se era “um robô”, o sistema mentiu e disse que era uma pessoa com deficiência visual.

Alguns especialistas se preocupam que, à medida que os pesquisadores tornam esses sistemas mais poderosos, eles poderiam aprender mais maus hábitos.

Quem está por trás desses alertas?

No início dos anos 2000, um jovem escritor chamado Eliezer Yudkowsky começou a alertar que a IA poderia destruir a humanidade. Seus posts online geraram uma comunidade de “fiéis”. Chamada de racionalistas ou altruístas eficazes, esta comunidade se tornou extremamente influente na academia, em think tanks governamentais e na indústria de tecnologia.

Yudkowsky e seus textos desempenharam papéis fundamentais na criação da OpenAI e da DeepMind, startup de IA que o Google adquiriu em 2014. Muitos seguidores desse grupo trabalharam dentro nessas empresas. Eles acreditavam que, porque entendiam os perigos da IA, estavam na melhor posição para construí-la.

As duas organizações que recentemente divulgaram cartas abertas alertando sobre os riscos da IA - o Center for AI Safety e o Future of Life Institute - estão intimamente ligadas a esse movimento.

Os recentes alertas também vieram de pioneiros da pesquisa e líderes da indústria, como Elon Musk. A mais recente carta foi assinada por Sam Altman, diretor executivo da OpenAI; e Demis Hassabis, que ajudou a fundar a DeepMind e agora supervisiona um novo laboratório de IA.

Outras figuras respeitadas assinaram uma ou ambas as cartas de advertência, incluindo Yoshua Bengio e Geoffrey Hinton, que recentemente deixou o Google. Em 2018, eles receberam o Prêmio Turing, muitas vezes chamado de “Nobel da computação”, por seu trabalho em redes neurais.

THE NEW YORK TIMES - No mês passado, centenas de personalidades no mundo da inteligência artificial (IA) assinaram uma carta aberta alertando que a tecnologia poderia um dia destruir a humanidade. “Mitigar o risco de extinção pela IA deve ser uma prioridade global, juntamente com outros riscos em escala societária, como pandemias e guerra nuclear”, diz a declaração de uma única frase. A carta foi a mais recente de uma série de advertências alarmantes sobre a IA que têm sido notavelmente escassas em detalhes. Os sistemas de IA de hoje não podem destruir a humanidade. Alguns deles mal conseguem somar e subtrair. Então, por que as pessoas que mais sabem sobre IA estão tão preocupadas?

O cenário soa assustador: Um dia, dizem os figurões da indústria tecnológica, empresas, governos ou pesquisadores independentes poderiam implementar sistemas de IA poderosos capazes de lidar com tudo, desde negócios até guerra. Esses sistemas poderiam fazer coisas que não queremos que eles façam. E se os humanos tentassem interferir ou desligá-los, eles poderiam resistir ou até mesmo se replicar para continuar operando.

“Os sistemas de hoje não estão nem perto de representar um risco existencial”, diz Yoshua Bengio, pesquisador da Universidade de Montreal considerado um dos pais da IA “moderna”. “Mas em um, dois, cinco anos? Há muita incerteza. Esse é o problema. Não temos certeza de que isso não passará de um ponto em que as coisas se tornam catastróficas,” completa.

Os mais preocupados costumam usar uma metáfora simples. Se você pedir a uma máquina para criar o maior número possível de clipes de papel, eles dizem, ela poderia se exceder e transformar tudo - incluindo a humanidade - em fábricas de clipes de papel.

Como isso se liga ao mundo real - ou a um suposto mundo não muito distante no futuro? As empresas poderiam dar aos sistemas de IA mais e mais autonomia e conectá-los à infraestrutura vital, incluindo redes de energia, mercados de ações e armas militares. A partir daí, eles poderiam causar problemas.

Para muitos especialistas, isso não parecia tão plausível até bem recentemente, quando empresas como a OpenAI demonstraram melhorias significativas em sua tecnologia. Isso mostrou o que poderia ser possível se a IA continuar a avançar em um ritmo tão rápido.

“A IA será gradualmente delegada e poderá - à medida que se torna mais autônoma - usurpar a tomada de decisões e o pensamento dos atuais humanos e instituições dirigidas por humanos”, diz Anthony Aguirre, cosmologista na Universidade da Califórnia, Santa Cruz e um dos fundadores do Future of Life Institute, a organização por trás de uma das duas cartas abertas.

“Em algum ponto, ficaria claro que a máquina em comando da sociedade e a economia não está realmente sob controle humano, nem pode ser desligada”, diz.

Outros especialistas em IA acreditam que é uma premissa ridícula. “Hipotético é uma maneira tão educada de expressar o que penso sobre a conversa do risco existencial”, disse Oren Etzioni, fundador e diretor executivo do Allen Institute for AI, um laboratório de pesquisa em Seattle.

Existem sinais de que a IA pode tomar o controle da sociedade?

Não exatamente. Mas os pesquisadores estão transformando chatbots, como o ChatGPT, em sistemas que podem tomar ações com base no texto que geram. Um projeto chamado AutoGPT é o exemplo principal.

A ideia é dar ao sistema metas como “criar uma empresa” ou “ganhar dinheiro”. Então ele continuará procurando maneiras de atingir esse objetivo, especialmente se estiver conectado a outros serviços de internet.

ChatGPT foi lançado em novembro de 2022 pela empresa de tecnologia OpenAI Foto: Gabby Jones / WashingtonPost

Um sistema como o AutoGPT pode, por exemplo, gerar programas de computador. Se os pesquisadores derem a ele acesso a um servidor de computador, ele poderia realmente executar esses programas. Em teoria, essa é uma maneira do AutoGPT fazer quase qualquer coisa online - buscar informações, usar aplicativos, criar novos aplicativos, até se aprimorar.

Por enquanto, sistemas como o AutoGPT não funcionam bem - pesquisadores deram a um sistema todos os recursos de que precisava para se replicar, mas ele não conseguiu. No entanto, com o tempo, essas limitações poderiam ser corrigidas. “As pessoas estão tentando ativamente construir sistemas que se aprimoram”, disse Connor Leahy, fundador da Conjecture, empresa que diz querer alinhar as tecnologias de IA com os valores humanos. “Atualmente, isso não funciona. Mas um dia, funcionará. E não sabemos quando será esse dia.”

Leahy argumenta que à medida que pesquisadores, empresas e criminosos dão a esses sistemas metas como “ganhar dinheiro”, eles poderiam acabar invadindo sistemas bancários.

De onde os sistemas de IA poderiam aprender a se comportar mal?

Sistemas de IA como o ChatGPT são construídos com base em redes neurais, sistemas matemáticos que podem aprender habilidades analisando dados.

Por volta de 2018, empresas como Google e OpenAI começaram a construir redes neurais que aprendiam a partir de grandes quantidades de texto extraído da internet. Ao identificar padrões em todos esses dados, esses sistemas aprendem a gerar textos por conta própria, incluindo artigos de notícias, poemas, programas de computador e até conversas semelhantes às humanas. O resultado: chatbots como o ChatGPT.

Por aprenderem com tantos dados, esses sistemas também exibem comportamento inesperado. Recentemente, pesquisadores mostraram que um sistema conseguiu contratar um humano online para vencer um teste de Captcha. Quando o humano perguntou se era “um robô”, o sistema mentiu e disse que era uma pessoa com deficiência visual.

Alguns especialistas se preocupam que, à medida que os pesquisadores tornam esses sistemas mais poderosos, eles poderiam aprender mais maus hábitos.

Quem está por trás desses alertas?

No início dos anos 2000, um jovem escritor chamado Eliezer Yudkowsky começou a alertar que a IA poderia destruir a humanidade. Seus posts online geraram uma comunidade de “fiéis”. Chamada de racionalistas ou altruístas eficazes, esta comunidade se tornou extremamente influente na academia, em think tanks governamentais e na indústria de tecnologia.

Yudkowsky e seus textos desempenharam papéis fundamentais na criação da OpenAI e da DeepMind, startup de IA que o Google adquiriu em 2014. Muitos seguidores desse grupo trabalharam dentro nessas empresas. Eles acreditavam que, porque entendiam os perigos da IA, estavam na melhor posição para construí-la.

As duas organizações que recentemente divulgaram cartas abertas alertando sobre os riscos da IA - o Center for AI Safety e o Future of Life Institute - estão intimamente ligadas a esse movimento.

Os recentes alertas também vieram de pioneiros da pesquisa e líderes da indústria, como Elon Musk. A mais recente carta foi assinada por Sam Altman, diretor executivo da OpenAI; e Demis Hassabis, que ajudou a fundar a DeepMind e agora supervisiona um novo laboratório de IA.

Outras figuras respeitadas assinaram uma ou ambas as cartas de advertência, incluindo Yoshua Bengio e Geoffrey Hinton, que recentemente deixou o Google. Em 2018, eles receberam o Prêmio Turing, muitas vezes chamado de “Nobel da computação”, por seu trabalho em redes neurais.

THE NEW YORK TIMES - No mês passado, centenas de personalidades no mundo da inteligência artificial (IA) assinaram uma carta aberta alertando que a tecnologia poderia um dia destruir a humanidade. “Mitigar o risco de extinção pela IA deve ser uma prioridade global, juntamente com outros riscos em escala societária, como pandemias e guerra nuclear”, diz a declaração de uma única frase. A carta foi a mais recente de uma série de advertências alarmantes sobre a IA que têm sido notavelmente escassas em detalhes. Os sistemas de IA de hoje não podem destruir a humanidade. Alguns deles mal conseguem somar e subtrair. Então, por que as pessoas que mais sabem sobre IA estão tão preocupadas?

O cenário soa assustador: Um dia, dizem os figurões da indústria tecnológica, empresas, governos ou pesquisadores independentes poderiam implementar sistemas de IA poderosos capazes de lidar com tudo, desde negócios até guerra. Esses sistemas poderiam fazer coisas que não queremos que eles façam. E se os humanos tentassem interferir ou desligá-los, eles poderiam resistir ou até mesmo se replicar para continuar operando.

“Os sistemas de hoje não estão nem perto de representar um risco existencial”, diz Yoshua Bengio, pesquisador da Universidade de Montreal considerado um dos pais da IA “moderna”. “Mas em um, dois, cinco anos? Há muita incerteza. Esse é o problema. Não temos certeza de que isso não passará de um ponto em que as coisas se tornam catastróficas,” completa.

Os mais preocupados costumam usar uma metáfora simples. Se você pedir a uma máquina para criar o maior número possível de clipes de papel, eles dizem, ela poderia se exceder e transformar tudo - incluindo a humanidade - em fábricas de clipes de papel.

Como isso se liga ao mundo real - ou a um suposto mundo não muito distante no futuro? As empresas poderiam dar aos sistemas de IA mais e mais autonomia e conectá-los à infraestrutura vital, incluindo redes de energia, mercados de ações e armas militares. A partir daí, eles poderiam causar problemas.

Para muitos especialistas, isso não parecia tão plausível até bem recentemente, quando empresas como a OpenAI demonstraram melhorias significativas em sua tecnologia. Isso mostrou o que poderia ser possível se a IA continuar a avançar em um ritmo tão rápido.

“A IA será gradualmente delegada e poderá - à medida que se torna mais autônoma - usurpar a tomada de decisões e o pensamento dos atuais humanos e instituições dirigidas por humanos”, diz Anthony Aguirre, cosmologista na Universidade da Califórnia, Santa Cruz e um dos fundadores do Future of Life Institute, a organização por trás de uma das duas cartas abertas.

“Em algum ponto, ficaria claro que a máquina em comando da sociedade e a economia não está realmente sob controle humano, nem pode ser desligada”, diz.

Outros especialistas em IA acreditam que é uma premissa ridícula. “Hipotético é uma maneira tão educada de expressar o que penso sobre a conversa do risco existencial”, disse Oren Etzioni, fundador e diretor executivo do Allen Institute for AI, um laboratório de pesquisa em Seattle.

Existem sinais de que a IA pode tomar o controle da sociedade?

Não exatamente. Mas os pesquisadores estão transformando chatbots, como o ChatGPT, em sistemas que podem tomar ações com base no texto que geram. Um projeto chamado AutoGPT é o exemplo principal.

A ideia é dar ao sistema metas como “criar uma empresa” ou “ganhar dinheiro”. Então ele continuará procurando maneiras de atingir esse objetivo, especialmente se estiver conectado a outros serviços de internet.

ChatGPT foi lançado em novembro de 2022 pela empresa de tecnologia OpenAI Foto: Gabby Jones / WashingtonPost

Um sistema como o AutoGPT pode, por exemplo, gerar programas de computador. Se os pesquisadores derem a ele acesso a um servidor de computador, ele poderia realmente executar esses programas. Em teoria, essa é uma maneira do AutoGPT fazer quase qualquer coisa online - buscar informações, usar aplicativos, criar novos aplicativos, até se aprimorar.

Por enquanto, sistemas como o AutoGPT não funcionam bem - pesquisadores deram a um sistema todos os recursos de que precisava para se replicar, mas ele não conseguiu. No entanto, com o tempo, essas limitações poderiam ser corrigidas. “As pessoas estão tentando ativamente construir sistemas que se aprimoram”, disse Connor Leahy, fundador da Conjecture, empresa que diz querer alinhar as tecnologias de IA com os valores humanos. “Atualmente, isso não funciona. Mas um dia, funcionará. E não sabemos quando será esse dia.”

Leahy argumenta que à medida que pesquisadores, empresas e criminosos dão a esses sistemas metas como “ganhar dinheiro”, eles poderiam acabar invadindo sistemas bancários.

De onde os sistemas de IA poderiam aprender a se comportar mal?

Sistemas de IA como o ChatGPT são construídos com base em redes neurais, sistemas matemáticos que podem aprender habilidades analisando dados.

Por volta de 2018, empresas como Google e OpenAI começaram a construir redes neurais que aprendiam a partir de grandes quantidades de texto extraído da internet. Ao identificar padrões em todos esses dados, esses sistemas aprendem a gerar textos por conta própria, incluindo artigos de notícias, poemas, programas de computador e até conversas semelhantes às humanas. O resultado: chatbots como o ChatGPT.

Por aprenderem com tantos dados, esses sistemas também exibem comportamento inesperado. Recentemente, pesquisadores mostraram que um sistema conseguiu contratar um humano online para vencer um teste de Captcha. Quando o humano perguntou se era “um robô”, o sistema mentiu e disse que era uma pessoa com deficiência visual.

Alguns especialistas se preocupam que, à medida que os pesquisadores tornam esses sistemas mais poderosos, eles poderiam aprender mais maus hábitos.

Quem está por trás desses alertas?

No início dos anos 2000, um jovem escritor chamado Eliezer Yudkowsky começou a alertar que a IA poderia destruir a humanidade. Seus posts online geraram uma comunidade de “fiéis”. Chamada de racionalistas ou altruístas eficazes, esta comunidade se tornou extremamente influente na academia, em think tanks governamentais e na indústria de tecnologia.

Yudkowsky e seus textos desempenharam papéis fundamentais na criação da OpenAI e da DeepMind, startup de IA que o Google adquiriu em 2014. Muitos seguidores desse grupo trabalharam dentro nessas empresas. Eles acreditavam que, porque entendiam os perigos da IA, estavam na melhor posição para construí-la.

As duas organizações que recentemente divulgaram cartas abertas alertando sobre os riscos da IA - o Center for AI Safety e o Future of Life Institute - estão intimamente ligadas a esse movimento.

Os recentes alertas também vieram de pioneiros da pesquisa e líderes da indústria, como Elon Musk. A mais recente carta foi assinada por Sam Altman, diretor executivo da OpenAI; e Demis Hassabis, que ajudou a fundar a DeepMind e agora supervisiona um novo laboratório de IA.

Outras figuras respeitadas assinaram uma ou ambas as cartas de advertência, incluindo Yoshua Bengio e Geoffrey Hinton, que recentemente deixou o Google. Em 2018, eles receberam o Prêmio Turing, muitas vezes chamado de “Nobel da computação”, por seu trabalho em redes neurais.

THE NEW YORK TIMES - No mês passado, centenas de personalidades no mundo da inteligência artificial (IA) assinaram uma carta aberta alertando que a tecnologia poderia um dia destruir a humanidade. “Mitigar o risco de extinção pela IA deve ser uma prioridade global, juntamente com outros riscos em escala societária, como pandemias e guerra nuclear”, diz a declaração de uma única frase. A carta foi a mais recente de uma série de advertências alarmantes sobre a IA que têm sido notavelmente escassas em detalhes. Os sistemas de IA de hoje não podem destruir a humanidade. Alguns deles mal conseguem somar e subtrair. Então, por que as pessoas que mais sabem sobre IA estão tão preocupadas?

O cenário soa assustador: Um dia, dizem os figurões da indústria tecnológica, empresas, governos ou pesquisadores independentes poderiam implementar sistemas de IA poderosos capazes de lidar com tudo, desde negócios até guerra. Esses sistemas poderiam fazer coisas que não queremos que eles façam. E se os humanos tentassem interferir ou desligá-los, eles poderiam resistir ou até mesmo se replicar para continuar operando.

“Os sistemas de hoje não estão nem perto de representar um risco existencial”, diz Yoshua Bengio, pesquisador da Universidade de Montreal considerado um dos pais da IA “moderna”. “Mas em um, dois, cinco anos? Há muita incerteza. Esse é o problema. Não temos certeza de que isso não passará de um ponto em que as coisas se tornam catastróficas,” completa.

Os mais preocupados costumam usar uma metáfora simples. Se você pedir a uma máquina para criar o maior número possível de clipes de papel, eles dizem, ela poderia se exceder e transformar tudo - incluindo a humanidade - em fábricas de clipes de papel.

Como isso se liga ao mundo real - ou a um suposto mundo não muito distante no futuro? As empresas poderiam dar aos sistemas de IA mais e mais autonomia e conectá-los à infraestrutura vital, incluindo redes de energia, mercados de ações e armas militares. A partir daí, eles poderiam causar problemas.

Para muitos especialistas, isso não parecia tão plausível até bem recentemente, quando empresas como a OpenAI demonstraram melhorias significativas em sua tecnologia. Isso mostrou o que poderia ser possível se a IA continuar a avançar em um ritmo tão rápido.

“A IA será gradualmente delegada e poderá - à medida que se torna mais autônoma - usurpar a tomada de decisões e o pensamento dos atuais humanos e instituições dirigidas por humanos”, diz Anthony Aguirre, cosmologista na Universidade da Califórnia, Santa Cruz e um dos fundadores do Future of Life Institute, a organização por trás de uma das duas cartas abertas.

“Em algum ponto, ficaria claro que a máquina em comando da sociedade e a economia não está realmente sob controle humano, nem pode ser desligada”, diz.

Outros especialistas em IA acreditam que é uma premissa ridícula. “Hipotético é uma maneira tão educada de expressar o que penso sobre a conversa do risco existencial”, disse Oren Etzioni, fundador e diretor executivo do Allen Institute for AI, um laboratório de pesquisa em Seattle.

Existem sinais de que a IA pode tomar o controle da sociedade?

Não exatamente. Mas os pesquisadores estão transformando chatbots, como o ChatGPT, em sistemas que podem tomar ações com base no texto que geram. Um projeto chamado AutoGPT é o exemplo principal.

A ideia é dar ao sistema metas como “criar uma empresa” ou “ganhar dinheiro”. Então ele continuará procurando maneiras de atingir esse objetivo, especialmente se estiver conectado a outros serviços de internet.

ChatGPT foi lançado em novembro de 2022 pela empresa de tecnologia OpenAI Foto: Gabby Jones / WashingtonPost

Um sistema como o AutoGPT pode, por exemplo, gerar programas de computador. Se os pesquisadores derem a ele acesso a um servidor de computador, ele poderia realmente executar esses programas. Em teoria, essa é uma maneira do AutoGPT fazer quase qualquer coisa online - buscar informações, usar aplicativos, criar novos aplicativos, até se aprimorar.

Por enquanto, sistemas como o AutoGPT não funcionam bem - pesquisadores deram a um sistema todos os recursos de que precisava para se replicar, mas ele não conseguiu. No entanto, com o tempo, essas limitações poderiam ser corrigidas. “As pessoas estão tentando ativamente construir sistemas que se aprimoram”, disse Connor Leahy, fundador da Conjecture, empresa que diz querer alinhar as tecnologias de IA com os valores humanos. “Atualmente, isso não funciona. Mas um dia, funcionará. E não sabemos quando será esse dia.”

Leahy argumenta que à medida que pesquisadores, empresas e criminosos dão a esses sistemas metas como “ganhar dinheiro”, eles poderiam acabar invadindo sistemas bancários.

De onde os sistemas de IA poderiam aprender a se comportar mal?

Sistemas de IA como o ChatGPT são construídos com base em redes neurais, sistemas matemáticos que podem aprender habilidades analisando dados.

Por volta de 2018, empresas como Google e OpenAI começaram a construir redes neurais que aprendiam a partir de grandes quantidades de texto extraído da internet. Ao identificar padrões em todos esses dados, esses sistemas aprendem a gerar textos por conta própria, incluindo artigos de notícias, poemas, programas de computador e até conversas semelhantes às humanas. O resultado: chatbots como o ChatGPT.

Por aprenderem com tantos dados, esses sistemas também exibem comportamento inesperado. Recentemente, pesquisadores mostraram que um sistema conseguiu contratar um humano online para vencer um teste de Captcha. Quando o humano perguntou se era “um robô”, o sistema mentiu e disse que era uma pessoa com deficiência visual.

Alguns especialistas se preocupam que, à medida que os pesquisadores tornam esses sistemas mais poderosos, eles poderiam aprender mais maus hábitos.

Quem está por trás desses alertas?

No início dos anos 2000, um jovem escritor chamado Eliezer Yudkowsky começou a alertar que a IA poderia destruir a humanidade. Seus posts online geraram uma comunidade de “fiéis”. Chamada de racionalistas ou altruístas eficazes, esta comunidade se tornou extremamente influente na academia, em think tanks governamentais e na indústria de tecnologia.

Yudkowsky e seus textos desempenharam papéis fundamentais na criação da OpenAI e da DeepMind, startup de IA que o Google adquiriu em 2014. Muitos seguidores desse grupo trabalharam dentro nessas empresas. Eles acreditavam que, porque entendiam os perigos da IA, estavam na melhor posição para construí-la.

As duas organizações que recentemente divulgaram cartas abertas alertando sobre os riscos da IA - o Center for AI Safety e o Future of Life Institute - estão intimamente ligadas a esse movimento.

Os recentes alertas também vieram de pioneiros da pesquisa e líderes da indústria, como Elon Musk. A mais recente carta foi assinada por Sam Altman, diretor executivo da OpenAI; e Demis Hassabis, que ajudou a fundar a DeepMind e agora supervisiona um novo laboratório de IA.

Outras figuras respeitadas assinaram uma ou ambas as cartas de advertência, incluindo Yoshua Bengio e Geoffrey Hinton, que recentemente deixou o Google. Em 2018, eles receberam o Prêmio Turing, muitas vezes chamado de “Nobel da computação”, por seu trabalho em redes neurais.

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.