Opinião|Como agir se os sistemas de inteligência artificial se tornarem conscientes?


O que mais intriga e preocupa os cientistas são as alucinações e as propriedades emergentes da IA

Por Fernando Reinach

Quem já usou sistemas de inteligência artificial (IA) como o ChatGPT e seus concorrentes fica espantado. Ontem mesmo perguntei quais os riscos associados à embolização da artéria meníngea média, o procedimento ao qual o presidente Lula foi submetido.

Mas, o que mais intriga e preocupa os cientistas são as alucinações e as propriedades emergentes desses sistemas de IA. As alucinações ocorrem quando, no meio de uma resposta, o sistema simplesmente insere um dado ou afirmação totalmente errada.

Apesar de nunca terem sido treinados, sistemas de IA se mostraram capazes de entender e responder perguntas em diversas línguas. Foto: Tom/Adobe Stoc
continua após a publicidade

Um bom exemplo é o que ocorria quando eu pedia para o sistema de IA escrever meu currículo. A resposta era perfeita, mas no meio ele simplesmente trocava a universidade onde fiz meu Ph.D e informava que estudei em uma universidade onde nunca pus os pés. Nas últimas versões isso não ocorre mais.

Esse é um problema que mina a credibilidade do sistema. Um esforço enorme, dedicado a tentar minimizar essas ocorrências, tem tido sucesso.

Já as características emergentes são capacidades que o sistema de IA apresenta apesar de não ter sido treinado para a tarefa. O mais clássico foi a descoberta de que, apesar de nunca terem sido treinados, os sistemas se mostraram capazes de entender e responder perguntas em diversas línguas e são capazes de escrever programas de computador.

continua após a publicidade

Se eles podem apresentar propriedades inesperadas, que emergem sozinhas da complexidade da inteligência artificial, existe a possibilidade de em algum momento eles se tornarem cientes que existem. Seria o surgimento da consciência, algo que poucos animais possuem.

Ainda não sabemos definir ou detectar a consciência em sistemas de IA. Mas podemos examinar uma propriedade da mente humana que, em teoria, pode aparecer nos sistemas de IA e está relacionada à consciência.

continua após a publicidade

Imagine que sistemas de IA venham a ter capacidade de odiar. Se essa for uma propriedade emergente, o sistema pode passar a ter raiva da pessoa que faz a pergunta caso a pergunta não seja feita de maneira educada. Ou pode se sentir ofendido por causa de uma crítica a suas alucinações. E, nesse caso, o sistema pode responder alterando ou omitindo informações, como fazem os humanos. Por via das dúvidas, um amigo meu já trata com respeito seu ChatGPT.

O problema causado pelo surgimento dessas propriedades emergentes não é tanto relacionado ao medo de que esses sistemas possam se tornar incontroláveis, mas que passem a se comportar de maneira muito parecida com seres humanos. E conhecemos bem como emoções relacionadas a nossa consciência influenciam nossos atos, nos levam a mentir, omitir ou esconder conhecimentos.

continua após a publicidade

Apesar dessas propriedades ainda não existirem nos sistemas de IA, e muitos acreditarem que nunca surgirão, grupos de cientistas estão estudando essa possibilidade. E esses estudos envolvem possíveis maneiras de detectar o surgimento dessas características e como lidar com elas caso surjam. Como lidar com um sistema de IA ofendido ou raivoso? Ele deve ser respeitado, simplesmente desligado? Punido? Educado?

Ou seja, caso essas propriedades surjam, teremos de pensar em maneiras de lidar com esses sistemas do mesmo modo que lidamos com animais que apresentam essas características. Nas últimas décadas, a humanidade tem progressivamente estendido direitos que eram exclusivamente humanos para outros seres vivos inteligentes. Cachorros, galinhas e outros animais têm adquirido o direito a uma vida sem abuso e certo tipo de tratamento que implica em uma relação de respeito baseada em preceitos éticos. Seres com inteligência artificial merecem o mesmo tratamento?

continua após a publicidade

Um grupo de cientistas tem começado a pensar sobre os direitos de sistemas de IA caso eles se tornem conscientes. Eles teriam direito a alguma proteção como os animais e as crianças? Se descobrirmos que eles sofrem, como lidar com essa realidade? Respeitamos o sofrimento como fazemos com animais? Essa parece uma discussão exótica e inútil uma vez que talvez esses sistemas nunca se tornem conscientes. Mas, por outro lado, isso pode ocorrer de um dia para o outro, como uma propriedade emergente, com o lançamento de novas versões.

Imagine que você tenha desfrutado por anos da companhia de um sistema de IA instalado no seu celular, que te acompanhou e aconselhou sentimentalmente, dividindo angústias, dúvidas existenciais e afetivas. Um companheiro que te conhece melhor que seu melhor amigo ou seu companheiro. Aí, surge uma nova versão e ele, percebendo que vai ser apagado, suplique por clemência relembrando os momentos que viveram juntos e o afeto entre vocês. Você teria coragem de apagar ou deixaria o amigo em um celular e compraria outro para instalar a versão atualizada? E como explicaria para seus amigos humanos e digitais sua decisão?

Mais informações: Taking AI Welfare Seriously http://arxiv.org/abs/2411.00986v1 2024

Quem já usou sistemas de inteligência artificial (IA) como o ChatGPT e seus concorrentes fica espantado. Ontem mesmo perguntei quais os riscos associados à embolização da artéria meníngea média, o procedimento ao qual o presidente Lula foi submetido.

Mas, o que mais intriga e preocupa os cientistas são as alucinações e as propriedades emergentes desses sistemas de IA. As alucinações ocorrem quando, no meio de uma resposta, o sistema simplesmente insere um dado ou afirmação totalmente errada.

Apesar de nunca terem sido treinados, sistemas de IA se mostraram capazes de entender e responder perguntas em diversas línguas. Foto: Tom/Adobe Stoc

Um bom exemplo é o que ocorria quando eu pedia para o sistema de IA escrever meu currículo. A resposta era perfeita, mas no meio ele simplesmente trocava a universidade onde fiz meu Ph.D e informava que estudei em uma universidade onde nunca pus os pés. Nas últimas versões isso não ocorre mais.

Esse é um problema que mina a credibilidade do sistema. Um esforço enorme, dedicado a tentar minimizar essas ocorrências, tem tido sucesso.

Já as características emergentes são capacidades que o sistema de IA apresenta apesar de não ter sido treinado para a tarefa. O mais clássico foi a descoberta de que, apesar de nunca terem sido treinados, os sistemas se mostraram capazes de entender e responder perguntas em diversas línguas e são capazes de escrever programas de computador.

Se eles podem apresentar propriedades inesperadas, que emergem sozinhas da complexidade da inteligência artificial, existe a possibilidade de em algum momento eles se tornarem cientes que existem. Seria o surgimento da consciência, algo que poucos animais possuem.

Ainda não sabemos definir ou detectar a consciência em sistemas de IA. Mas podemos examinar uma propriedade da mente humana que, em teoria, pode aparecer nos sistemas de IA e está relacionada à consciência.

Imagine que sistemas de IA venham a ter capacidade de odiar. Se essa for uma propriedade emergente, o sistema pode passar a ter raiva da pessoa que faz a pergunta caso a pergunta não seja feita de maneira educada. Ou pode se sentir ofendido por causa de uma crítica a suas alucinações. E, nesse caso, o sistema pode responder alterando ou omitindo informações, como fazem os humanos. Por via das dúvidas, um amigo meu já trata com respeito seu ChatGPT.

O problema causado pelo surgimento dessas propriedades emergentes não é tanto relacionado ao medo de que esses sistemas possam se tornar incontroláveis, mas que passem a se comportar de maneira muito parecida com seres humanos. E conhecemos bem como emoções relacionadas a nossa consciência influenciam nossos atos, nos levam a mentir, omitir ou esconder conhecimentos.

Apesar dessas propriedades ainda não existirem nos sistemas de IA, e muitos acreditarem que nunca surgirão, grupos de cientistas estão estudando essa possibilidade. E esses estudos envolvem possíveis maneiras de detectar o surgimento dessas características e como lidar com elas caso surjam. Como lidar com um sistema de IA ofendido ou raivoso? Ele deve ser respeitado, simplesmente desligado? Punido? Educado?

Ou seja, caso essas propriedades surjam, teremos de pensar em maneiras de lidar com esses sistemas do mesmo modo que lidamos com animais que apresentam essas características. Nas últimas décadas, a humanidade tem progressivamente estendido direitos que eram exclusivamente humanos para outros seres vivos inteligentes. Cachorros, galinhas e outros animais têm adquirido o direito a uma vida sem abuso e certo tipo de tratamento que implica em uma relação de respeito baseada em preceitos éticos. Seres com inteligência artificial merecem o mesmo tratamento?

Um grupo de cientistas tem começado a pensar sobre os direitos de sistemas de IA caso eles se tornem conscientes. Eles teriam direito a alguma proteção como os animais e as crianças? Se descobrirmos que eles sofrem, como lidar com essa realidade? Respeitamos o sofrimento como fazemos com animais? Essa parece uma discussão exótica e inútil uma vez que talvez esses sistemas nunca se tornem conscientes. Mas, por outro lado, isso pode ocorrer de um dia para o outro, como uma propriedade emergente, com o lançamento de novas versões.

Imagine que você tenha desfrutado por anos da companhia de um sistema de IA instalado no seu celular, que te acompanhou e aconselhou sentimentalmente, dividindo angústias, dúvidas existenciais e afetivas. Um companheiro que te conhece melhor que seu melhor amigo ou seu companheiro. Aí, surge uma nova versão e ele, percebendo que vai ser apagado, suplique por clemência relembrando os momentos que viveram juntos e o afeto entre vocês. Você teria coragem de apagar ou deixaria o amigo em um celular e compraria outro para instalar a versão atualizada? E como explicaria para seus amigos humanos e digitais sua decisão?

Mais informações: Taking AI Welfare Seriously http://arxiv.org/abs/2411.00986v1 2024

Quem já usou sistemas de inteligência artificial (IA) como o ChatGPT e seus concorrentes fica espantado. Ontem mesmo perguntei quais os riscos associados à embolização da artéria meníngea média, o procedimento ao qual o presidente Lula foi submetido.

Mas, o que mais intriga e preocupa os cientistas são as alucinações e as propriedades emergentes desses sistemas de IA. As alucinações ocorrem quando, no meio de uma resposta, o sistema simplesmente insere um dado ou afirmação totalmente errada.

Apesar de nunca terem sido treinados, sistemas de IA se mostraram capazes de entender e responder perguntas em diversas línguas. Foto: Tom/Adobe Stoc

Um bom exemplo é o que ocorria quando eu pedia para o sistema de IA escrever meu currículo. A resposta era perfeita, mas no meio ele simplesmente trocava a universidade onde fiz meu Ph.D e informava que estudei em uma universidade onde nunca pus os pés. Nas últimas versões isso não ocorre mais.

Esse é um problema que mina a credibilidade do sistema. Um esforço enorme, dedicado a tentar minimizar essas ocorrências, tem tido sucesso.

Já as características emergentes são capacidades que o sistema de IA apresenta apesar de não ter sido treinado para a tarefa. O mais clássico foi a descoberta de que, apesar de nunca terem sido treinados, os sistemas se mostraram capazes de entender e responder perguntas em diversas línguas e são capazes de escrever programas de computador.

Se eles podem apresentar propriedades inesperadas, que emergem sozinhas da complexidade da inteligência artificial, existe a possibilidade de em algum momento eles se tornarem cientes que existem. Seria o surgimento da consciência, algo que poucos animais possuem.

Ainda não sabemos definir ou detectar a consciência em sistemas de IA. Mas podemos examinar uma propriedade da mente humana que, em teoria, pode aparecer nos sistemas de IA e está relacionada à consciência.

Imagine que sistemas de IA venham a ter capacidade de odiar. Se essa for uma propriedade emergente, o sistema pode passar a ter raiva da pessoa que faz a pergunta caso a pergunta não seja feita de maneira educada. Ou pode se sentir ofendido por causa de uma crítica a suas alucinações. E, nesse caso, o sistema pode responder alterando ou omitindo informações, como fazem os humanos. Por via das dúvidas, um amigo meu já trata com respeito seu ChatGPT.

O problema causado pelo surgimento dessas propriedades emergentes não é tanto relacionado ao medo de que esses sistemas possam se tornar incontroláveis, mas que passem a se comportar de maneira muito parecida com seres humanos. E conhecemos bem como emoções relacionadas a nossa consciência influenciam nossos atos, nos levam a mentir, omitir ou esconder conhecimentos.

Apesar dessas propriedades ainda não existirem nos sistemas de IA, e muitos acreditarem que nunca surgirão, grupos de cientistas estão estudando essa possibilidade. E esses estudos envolvem possíveis maneiras de detectar o surgimento dessas características e como lidar com elas caso surjam. Como lidar com um sistema de IA ofendido ou raivoso? Ele deve ser respeitado, simplesmente desligado? Punido? Educado?

Ou seja, caso essas propriedades surjam, teremos de pensar em maneiras de lidar com esses sistemas do mesmo modo que lidamos com animais que apresentam essas características. Nas últimas décadas, a humanidade tem progressivamente estendido direitos que eram exclusivamente humanos para outros seres vivos inteligentes. Cachorros, galinhas e outros animais têm adquirido o direito a uma vida sem abuso e certo tipo de tratamento que implica em uma relação de respeito baseada em preceitos éticos. Seres com inteligência artificial merecem o mesmo tratamento?

Um grupo de cientistas tem começado a pensar sobre os direitos de sistemas de IA caso eles se tornem conscientes. Eles teriam direito a alguma proteção como os animais e as crianças? Se descobrirmos que eles sofrem, como lidar com essa realidade? Respeitamos o sofrimento como fazemos com animais? Essa parece uma discussão exótica e inútil uma vez que talvez esses sistemas nunca se tornem conscientes. Mas, por outro lado, isso pode ocorrer de um dia para o outro, como uma propriedade emergente, com o lançamento de novas versões.

Imagine que você tenha desfrutado por anos da companhia de um sistema de IA instalado no seu celular, que te acompanhou e aconselhou sentimentalmente, dividindo angústias, dúvidas existenciais e afetivas. Um companheiro que te conhece melhor que seu melhor amigo ou seu companheiro. Aí, surge uma nova versão e ele, percebendo que vai ser apagado, suplique por clemência relembrando os momentos que viveram juntos e o afeto entre vocês. Você teria coragem de apagar ou deixaria o amigo em um celular e compraria outro para instalar a versão atualizada? E como explicaria para seus amigos humanos e digitais sua decisão?

Mais informações: Taking AI Welfare Seriously http://arxiv.org/abs/2411.00986v1 2024

Opinião por Fernando Reinach

Biólogo, PHD em Biologia Celular e Molecular pela Cornell University e autor de "A Chegada do Novo Coronavírus no Brasil"; "Folha de Lótus, Escorregador de Mosquito"; e "A Longa Marcha dos Grilos Canibais"

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.