Conheça o plano da OpenAI para conter uso de IA em armas químicas e nucleares


Criadora do ChatGPT pesquisa possíveis danos da inteligência artificial em setores considerados críticos para segurança global

Por Gerrit De Vynck
Atualização:

THE WASHINGTON POST — A OpenAI, empresa de inteligência artificial (IA) por trás do ChatGPT, apresentou seus planos para se manter à frente do que acredita que possam ser sérios perigos da tecnologia que desenvolve, como permitir que pessoas mal intencionadas aprendam a construir armas químicas e biológicas.

A equipe de “Preparação” da OpenAI, liderada pelo professor de IA do MIT Aleksander Madry, contratará pesquisadores de IA, cientistas da computação, especialistas em segurança nacional e profissionais de políticas para monitorar a tecnologia, testá-la continuamente e avisar a empresa caso acredite que algum de seus recursos de IA esteja se tornando perigoso.

Esse time fica entre a equipe de “Sistemas de Segurança”, da OpenAI, que trabalha com problemas existentes, como a infusão de preconceitos racistas na IA, e a equipe de “Superalinhamento” da empresa, que pesquisa como garantir que a IA não prejudique os seres humanos em um futuro imaginado em que a tecnologia tenha superado completamente a inteligência humana (leia mais aqui).

continua após a publicidade

A popularidade do ChatGPT e o avanço da tecnologia de IA generativa desencadearam um debate na comunidade tecnológica sobre o quanto a tecnologia pode se tornar perigosa. Líderes proeminentes de IA da OpenAI, do Google e da Microsoft alertaram este ano que a tecnologia poderia representar um perigo existencial para a humanidade, no mesmo nível das pandemias ou das armas nucleares.

Outros pesquisadores de IA disseram que o foco nesses riscos grandes e assustadores permite que as empresas se distraiam dos efeitos nocivos que a tecnologia já está causando. Um grupo cada vez maior de líderes empresariais de IA afirma que os riscos são exagerados e que as empresas devem seguir em frente com o desenvolvimento da tecnologia para ajudar a melhorar a sociedade — e ganhar dinheiro com isso.

Em sua postura pública, a OpenAI tem buscado um meio-termo nesse debate. O presidente executivo Sam Altman disse que há sérios riscos de longo prazo inerentes à tecnologia, mas que as pessoas também devem se concentrar em resolver os problemas existentes. A regulamentação para tentar evitar os impactos prejudiciais da IA não deve dificultar a concorrência de empresas menores, disse Altman. Ao mesmo tempo, ele pressionou a empresa a comercializar sua tecnologia e levantou dinheiro para financiar um crescimento mais rápido.

continua após a publicidade
Se eu realmente quiser moldar o impacto da IA na sociedade, por que não ir para uma empresa que está realmente fazendo isso

Aleksander Madry, professor do MIT

Madry, pesquisador veterano de IA que dirige o Center for Deployable Machine Learning do MIT e co-lidera o MIT AI Policy Forum, juntou-se à OpenAI este ano. Ele fazia parte de um pequeno grupo de líderes da OpenAI que se demitiu quando Altman foi demitido pelo conselho da empresa em novembro. Madry retornou à empresa quando Altman foi readmitido cinco dias depois. A OpenAI, que é administrada por um conselho sem fins lucrativos cuja missão é promover a IA e torná-la útil para todos os seres humanos, está em meio à seleção de novos membros do conselho depois que três dos quatro membros que demitiram Altman deixaram o cargo como parte de seu retorno.

Apesar da “turbulência” da liderança, Madry disse que acredita que a diretoria da OpenAI leva a sério os riscos da IA. “Percebi que, se eu realmente quiser moldar o impacto da IA na sociedade, por que não ir para uma empresa que está realmente fazendo isso?”, disse ele.

continua após a publicidade

A equipe de preparação está contratando especialistas em segurança nacional de fora do mundo da IA que podem ajudar a OpenAI a entender como lidar com grandes riscos. Ela está iniciando discussões com organizações, incluindo a Administração Nacional de Segurança Nuclear, que supervisiona a tecnologia nuclear nos Estados Unidos, para garantir que a empresa possa estudar adequadamente os riscos da IA, disse Madry.

A equipe monitorará como e quando a tecnologia da OpenAI pode instruir as pessoas a invadir computadores ou construir armas químicas, biológicas e nucleares perigosas, além do que as pessoas podem encontrar on-line por meio de pesquisas regulares. Madry está procurando pessoas que “realmente pensem: ‘Como posso mexer com esse conjunto de regras? Como posso ser mais engenhoso em minha maldade?”.

continua após a publicidade
OpenAI, dona do ChatGPT, aposta em equipes de supervisão para conter perigos da inteligência artificial Foto: Dado Ruvic/Reuters

A empresa também permitirá que “terceiros qualificados e independentes” de fora da OpenAI testem sua tecnologia, disse em um post de blog na segunda-feira.

Madry disse não concordar com o debate entre os “condenadores” da IA, que temem que a tecnologia já tenha alcançado a capacidade de superar a inteligência humana, e os “aceleracionistas”, que querem remover todas as barreiras ao desenvolvimento da IA.

continua após a publicidade

“Eu realmente vejo esse enquadramento de aceleração e desaceleração como extremamente simplista”, disse ele. “A IA tem muitas vantagens, mas também precisamos trabalhar para garantir que as vantagens sejam realmente percebidas e as desvantagens não.”

Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.

THE WASHINGTON POST — A OpenAI, empresa de inteligência artificial (IA) por trás do ChatGPT, apresentou seus planos para se manter à frente do que acredita que possam ser sérios perigos da tecnologia que desenvolve, como permitir que pessoas mal intencionadas aprendam a construir armas químicas e biológicas.

A equipe de “Preparação” da OpenAI, liderada pelo professor de IA do MIT Aleksander Madry, contratará pesquisadores de IA, cientistas da computação, especialistas em segurança nacional e profissionais de políticas para monitorar a tecnologia, testá-la continuamente e avisar a empresa caso acredite que algum de seus recursos de IA esteja se tornando perigoso.

Esse time fica entre a equipe de “Sistemas de Segurança”, da OpenAI, que trabalha com problemas existentes, como a infusão de preconceitos racistas na IA, e a equipe de “Superalinhamento” da empresa, que pesquisa como garantir que a IA não prejudique os seres humanos em um futuro imaginado em que a tecnologia tenha superado completamente a inteligência humana (leia mais aqui).

A popularidade do ChatGPT e o avanço da tecnologia de IA generativa desencadearam um debate na comunidade tecnológica sobre o quanto a tecnologia pode se tornar perigosa. Líderes proeminentes de IA da OpenAI, do Google e da Microsoft alertaram este ano que a tecnologia poderia representar um perigo existencial para a humanidade, no mesmo nível das pandemias ou das armas nucleares.

Outros pesquisadores de IA disseram que o foco nesses riscos grandes e assustadores permite que as empresas se distraiam dos efeitos nocivos que a tecnologia já está causando. Um grupo cada vez maior de líderes empresariais de IA afirma que os riscos são exagerados e que as empresas devem seguir em frente com o desenvolvimento da tecnologia para ajudar a melhorar a sociedade — e ganhar dinheiro com isso.

Em sua postura pública, a OpenAI tem buscado um meio-termo nesse debate. O presidente executivo Sam Altman disse que há sérios riscos de longo prazo inerentes à tecnologia, mas que as pessoas também devem se concentrar em resolver os problemas existentes. A regulamentação para tentar evitar os impactos prejudiciais da IA não deve dificultar a concorrência de empresas menores, disse Altman. Ao mesmo tempo, ele pressionou a empresa a comercializar sua tecnologia e levantou dinheiro para financiar um crescimento mais rápido.

Se eu realmente quiser moldar o impacto da IA na sociedade, por que não ir para uma empresa que está realmente fazendo isso

Aleksander Madry, professor do MIT

Madry, pesquisador veterano de IA que dirige o Center for Deployable Machine Learning do MIT e co-lidera o MIT AI Policy Forum, juntou-se à OpenAI este ano. Ele fazia parte de um pequeno grupo de líderes da OpenAI que se demitiu quando Altman foi demitido pelo conselho da empresa em novembro. Madry retornou à empresa quando Altman foi readmitido cinco dias depois. A OpenAI, que é administrada por um conselho sem fins lucrativos cuja missão é promover a IA e torná-la útil para todos os seres humanos, está em meio à seleção de novos membros do conselho depois que três dos quatro membros que demitiram Altman deixaram o cargo como parte de seu retorno.

Apesar da “turbulência” da liderança, Madry disse que acredita que a diretoria da OpenAI leva a sério os riscos da IA. “Percebi que, se eu realmente quiser moldar o impacto da IA na sociedade, por que não ir para uma empresa que está realmente fazendo isso?”, disse ele.

A equipe de preparação está contratando especialistas em segurança nacional de fora do mundo da IA que podem ajudar a OpenAI a entender como lidar com grandes riscos. Ela está iniciando discussões com organizações, incluindo a Administração Nacional de Segurança Nuclear, que supervisiona a tecnologia nuclear nos Estados Unidos, para garantir que a empresa possa estudar adequadamente os riscos da IA, disse Madry.

A equipe monitorará como e quando a tecnologia da OpenAI pode instruir as pessoas a invadir computadores ou construir armas químicas, biológicas e nucleares perigosas, além do que as pessoas podem encontrar on-line por meio de pesquisas regulares. Madry está procurando pessoas que “realmente pensem: ‘Como posso mexer com esse conjunto de regras? Como posso ser mais engenhoso em minha maldade?”.

OpenAI, dona do ChatGPT, aposta em equipes de supervisão para conter perigos da inteligência artificial Foto: Dado Ruvic/Reuters

A empresa também permitirá que “terceiros qualificados e independentes” de fora da OpenAI testem sua tecnologia, disse em um post de blog na segunda-feira.

Madry disse não concordar com o debate entre os “condenadores” da IA, que temem que a tecnologia já tenha alcançado a capacidade de superar a inteligência humana, e os “aceleracionistas”, que querem remover todas as barreiras ao desenvolvimento da IA.

“Eu realmente vejo esse enquadramento de aceleração e desaceleração como extremamente simplista”, disse ele. “A IA tem muitas vantagens, mas também precisamos trabalhar para garantir que as vantagens sejam realmente percebidas e as desvantagens não.”

Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.

THE WASHINGTON POST — A OpenAI, empresa de inteligência artificial (IA) por trás do ChatGPT, apresentou seus planos para se manter à frente do que acredita que possam ser sérios perigos da tecnologia que desenvolve, como permitir que pessoas mal intencionadas aprendam a construir armas químicas e biológicas.

A equipe de “Preparação” da OpenAI, liderada pelo professor de IA do MIT Aleksander Madry, contratará pesquisadores de IA, cientistas da computação, especialistas em segurança nacional e profissionais de políticas para monitorar a tecnologia, testá-la continuamente e avisar a empresa caso acredite que algum de seus recursos de IA esteja se tornando perigoso.

Esse time fica entre a equipe de “Sistemas de Segurança”, da OpenAI, que trabalha com problemas existentes, como a infusão de preconceitos racistas na IA, e a equipe de “Superalinhamento” da empresa, que pesquisa como garantir que a IA não prejudique os seres humanos em um futuro imaginado em que a tecnologia tenha superado completamente a inteligência humana (leia mais aqui).

A popularidade do ChatGPT e o avanço da tecnologia de IA generativa desencadearam um debate na comunidade tecnológica sobre o quanto a tecnologia pode se tornar perigosa. Líderes proeminentes de IA da OpenAI, do Google e da Microsoft alertaram este ano que a tecnologia poderia representar um perigo existencial para a humanidade, no mesmo nível das pandemias ou das armas nucleares.

Outros pesquisadores de IA disseram que o foco nesses riscos grandes e assustadores permite que as empresas se distraiam dos efeitos nocivos que a tecnologia já está causando. Um grupo cada vez maior de líderes empresariais de IA afirma que os riscos são exagerados e que as empresas devem seguir em frente com o desenvolvimento da tecnologia para ajudar a melhorar a sociedade — e ganhar dinheiro com isso.

Em sua postura pública, a OpenAI tem buscado um meio-termo nesse debate. O presidente executivo Sam Altman disse que há sérios riscos de longo prazo inerentes à tecnologia, mas que as pessoas também devem se concentrar em resolver os problemas existentes. A regulamentação para tentar evitar os impactos prejudiciais da IA não deve dificultar a concorrência de empresas menores, disse Altman. Ao mesmo tempo, ele pressionou a empresa a comercializar sua tecnologia e levantou dinheiro para financiar um crescimento mais rápido.

Se eu realmente quiser moldar o impacto da IA na sociedade, por que não ir para uma empresa que está realmente fazendo isso

Aleksander Madry, professor do MIT

Madry, pesquisador veterano de IA que dirige o Center for Deployable Machine Learning do MIT e co-lidera o MIT AI Policy Forum, juntou-se à OpenAI este ano. Ele fazia parte de um pequeno grupo de líderes da OpenAI que se demitiu quando Altman foi demitido pelo conselho da empresa em novembro. Madry retornou à empresa quando Altman foi readmitido cinco dias depois. A OpenAI, que é administrada por um conselho sem fins lucrativos cuja missão é promover a IA e torná-la útil para todos os seres humanos, está em meio à seleção de novos membros do conselho depois que três dos quatro membros que demitiram Altman deixaram o cargo como parte de seu retorno.

Apesar da “turbulência” da liderança, Madry disse que acredita que a diretoria da OpenAI leva a sério os riscos da IA. “Percebi que, se eu realmente quiser moldar o impacto da IA na sociedade, por que não ir para uma empresa que está realmente fazendo isso?”, disse ele.

A equipe de preparação está contratando especialistas em segurança nacional de fora do mundo da IA que podem ajudar a OpenAI a entender como lidar com grandes riscos. Ela está iniciando discussões com organizações, incluindo a Administração Nacional de Segurança Nuclear, que supervisiona a tecnologia nuclear nos Estados Unidos, para garantir que a empresa possa estudar adequadamente os riscos da IA, disse Madry.

A equipe monitorará como e quando a tecnologia da OpenAI pode instruir as pessoas a invadir computadores ou construir armas químicas, biológicas e nucleares perigosas, além do que as pessoas podem encontrar on-line por meio de pesquisas regulares. Madry está procurando pessoas que “realmente pensem: ‘Como posso mexer com esse conjunto de regras? Como posso ser mais engenhoso em minha maldade?”.

OpenAI, dona do ChatGPT, aposta em equipes de supervisão para conter perigos da inteligência artificial Foto: Dado Ruvic/Reuters

A empresa também permitirá que “terceiros qualificados e independentes” de fora da OpenAI testem sua tecnologia, disse em um post de blog na segunda-feira.

Madry disse não concordar com o debate entre os “condenadores” da IA, que temem que a tecnologia já tenha alcançado a capacidade de superar a inteligência humana, e os “aceleracionistas”, que querem remover todas as barreiras ao desenvolvimento da IA.

“Eu realmente vejo esse enquadramento de aceleração e desaceleração como extremamente simplista”, disse ele. “A IA tem muitas vantagens, mas também precisamos trabalhar para garantir que as vantagens sejam realmente percebidas e as desvantagens não.”

Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.

THE WASHINGTON POST — A OpenAI, empresa de inteligência artificial (IA) por trás do ChatGPT, apresentou seus planos para se manter à frente do que acredita que possam ser sérios perigos da tecnologia que desenvolve, como permitir que pessoas mal intencionadas aprendam a construir armas químicas e biológicas.

A equipe de “Preparação” da OpenAI, liderada pelo professor de IA do MIT Aleksander Madry, contratará pesquisadores de IA, cientistas da computação, especialistas em segurança nacional e profissionais de políticas para monitorar a tecnologia, testá-la continuamente e avisar a empresa caso acredite que algum de seus recursos de IA esteja se tornando perigoso.

Esse time fica entre a equipe de “Sistemas de Segurança”, da OpenAI, que trabalha com problemas existentes, como a infusão de preconceitos racistas na IA, e a equipe de “Superalinhamento” da empresa, que pesquisa como garantir que a IA não prejudique os seres humanos em um futuro imaginado em que a tecnologia tenha superado completamente a inteligência humana (leia mais aqui).

A popularidade do ChatGPT e o avanço da tecnologia de IA generativa desencadearam um debate na comunidade tecnológica sobre o quanto a tecnologia pode se tornar perigosa. Líderes proeminentes de IA da OpenAI, do Google e da Microsoft alertaram este ano que a tecnologia poderia representar um perigo existencial para a humanidade, no mesmo nível das pandemias ou das armas nucleares.

Outros pesquisadores de IA disseram que o foco nesses riscos grandes e assustadores permite que as empresas se distraiam dos efeitos nocivos que a tecnologia já está causando. Um grupo cada vez maior de líderes empresariais de IA afirma que os riscos são exagerados e que as empresas devem seguir em frente com o desenvolvimento da tecnologia para ajudar a melhorar a sociedade — e ganhar dinheiro com isso.

Em sua postura pública, a OpenAI tem buscado um meio-termo nesse debate. O presidente executivo Sam Altman disse que há sérios riscos de longo prazo inerentes à tecnologia, mas que as pessoas também devem se concentrar em resolver os problemas existentes. A regulamentação para tentar evitar os impactos prejudiciais da IA não deve dificultar a concorrência de empresas menores, disse Altman. Ao mesmo tempo, ele pressionou a empresa a comercializar sua tecnologia e levantou dinheiro para financiar um crescimento mais rápido.

Se eu realmente quiser moldar o impacto da IA na sociedade, por que não ir para uma empresa que está realmente fazendo isso

Aleksander Madry, professor do MIT

Madry, pesquisador veterano de IA que dirige o Center for Deployable Machine Learning do MIT e co-lidera o MIT AI Policy Forum, juntou-se à OpenAI este ano. Ele fazia parte de um pequeno grupo de líderes da OpenAI que se demitiu quando Altman foi demitido pelo conselho da empresa em novembro. Madry retornou à empresa quando Altman foi readmitido cinco dias depois. A OpenAI, que é administrada por um conselho sem fins lucrativos cuja missão é promover a IA e torná-la útil para todos os seres humanos, está em meio à seleção de novos membros do conselho depois que três dos quatro membros que demitiram Altman deixaram o cargo como parte de seu retorno.

Apesar da “turbulência” da liderança, Madry disse que acredita que a diretoria da OpenAI leva a sério os riscos da IA. “Percebi que, se eu realmente quiser moldar o impacto da IA na sociedade, por que não ir para uma empresa que está realmente fazendo isso?”, disse ele.

A equipe de preparação está contratando especialistas em segurança nacional de fora do mundo da IA que podem ajudar a OpenAI a entender como lidar com grandes riscos. Ela está iniciando discussões com organizações, incluindo a Administração Nacional de Segurança Nuclear, que supervisiona a tecnologia nuclear nos Estados Unidos, para garantir que a empresa possa estudar adequadamente os riscos da IA, disse Madry.

A equipe monitorará como e quando a tecnologia da OpenAI pode instruir as pessoas a invadir computadores ou construir armas químicas, biológicas e nucleares perigosas, além do que as pessoas podem encontrar on-line por meio de pesquisas regulares. Madry está procurando pessoas que “realmente pensem: ‘Como posso mexer com esse conjunto de regras? Como posso ser mais engenhoso em minha maldade?”.

OpenAI, dona do ChatGPT, aposta em equipes de supervisão para conter perigos da inteligência artificial Foto: Dado Ruvic/Reuters

A empresa também permitirá que “terceiros qualificados e independentes” de fora da OpenAI testem sua tecnologia, disse em um post de blog na segunda-feira.

Madry disse não concordar com o debate entre os “condenadores” da IA, que temem que a tecnologia já tenha alcançado a capacidade de superar a inteligência humana, e os “aceleracionistas”, que querem remover todas as barreiras ao desenvolvimento da IA.

“Eu realmente vejo esse enquadramento de aceleração e desaceleração como extremamente simplista”, disse ele. “A IA tem muitas vantagens, mas também precisamos trabalhar para garantir que as vantagens sejam realmente percebidas e as desvantagens não.”

Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.