‘Joguei forca e jogo da velha com o ChatGPT. E fui roubado pela IA’; veja teste

Inteligência artificial desfaz regras, inventa palavras e pede desculpas

PUBLICIDADE

Foto do author Guilherme Guerra

O ChatGPT pode fazer muitas coisas: resumir livros, traduzir artigos, realizar contas matemáticas, programar código. Há, porém, uma função secreta no robô de bate-papo da OpenAI: jogar jogos.

A própria ferramenta descreve o que é capaz de jogar com o usuário: Jogo da Velha, Adivinhação de Números, 21 Perguntas, Forca, Damas ou Xadrez, Adivinhação de Palavras, História Interativa e Quiz de Trívia. Mas o robô avisa: “Minha capacidade de jogo é limitada ao texto, então a experiência pode ser diferente do que jogar em plataformas especializadas”, diz. Ou seja, a interface é limitada a recursos textuais.

PUBLICIDADE

A verdade é que esse não é o maior problema de se jogar uma partida com o robô da OpenAI. Na verdade, o ChatGPT é um grande fanfarrão e, sempre que possível, opta por trapacear. E isso vale tanto para a versão GPT-3.5 quanto a GPT-4, a mais inteligente.

Com a Forca, o robô literalmente inventa palavras e torna impossível acertar as vogais e consoantes necessárias para ganhar jogo. Nas vezes em que me arrisquei, surgiram palavras totalmente inventadas pelo ChatGPT: puzzar e samar foram as respostas finais. A ferramenta insistiu que se tratava de palavras antigas e pouco usadas.

Publicidade

Após ser questionado sobre o que significaria uma delas, o chatbot escreveu: “Cometi um erro. ‘Puzzar’ não é uma palavra em português ou em qualquer outro idioma que eu conheça. Cometi um erro ao criar a palavra para o jogo, e isso não deveria ter acontecido”.

ChatGPT muda de palavras ao jogar Forca com usuário Foto: Reprodução/OpenAI

Além disso, durante a Forca, o próprio ChatGPT mudava de ideia durante a partida, se eu duvidasse da terminologia de algumas palavras. Nada ético para quem quer jogar, claro.

Trapaça similar acontecia ao tentar Jogo da Velha com o robô. Na interface de bate-papo, os dois jogadores partilham de um “tabuleiro” de 9 números, com três colunas e três linhas — basta escolher o número e a jogada é realizada em cada turno.

Isso seria simples, não fosse a ideia de tentar disputar jogo da velha com um robô. Em todas as partidas, o ChatGPT ignorou que eu havia completado uma coluna ou linha e que, portanto, eu havia ganhado. Avisado sobre a derrota, escreveu: “Você está absolutamente certo, peço desculpas por não ter percebido antes. Parabéns! Você ganhou!”.

Publicidade

ChatGPT tenta 'disfarçar' a derrota no Jogo da Velha Foto: Reprodução/OpenAI

O ChatGPT é mais honesto, no entanto, quando não tem de “pensar” muito: ao chutar as letras necessárias para completar a forca ou ao tentar adivinhar um objeto a partir de 21 perguntas. Nessas situações, o robô sabe admitir a derrota.

Alucinação e ChatGPT

Tecnicamente falando, o ChatGPT não tem vontade inata de trapacear por alguma ambição pessoal em derrotar um humano em uma partida. Na verdade, o termo correto para esse comportamento maluco é “alucinação”, e não mau-caratismo.

Na inteligência artificial, a alucinação acontece quando o sistema acaba oferecendo uma resposta que não corresponde à realidade ou ultrapasse o bom senso. Em uma pergunta, pode ser um fato incorreto, uma mentira ou uma demonstração de sentimento. Geralmente, esse tipo de problema acontece porque a IA foi feita para gerar palavras - ou seja, ela sempre responde ainda que esteja errada.

Um exemplo de alucinação é quando o ChatGPT inventa livros para reforçar um argumento acadêmico, por exemplo — algo que ocorre com bastante frequência. Ou quando a IA inventa palavras para ganhar um simples jogo de Forca.

Publicidade

Especialistas explicam que a alucinação é o maior desafio a ser superado por qualquer ferramenta de inteligência artificial generativa, nome dado aos sistemas que conseguem gerar conteúdo inédito. Superar esse obstáculo é o que vai diferenciar uma resposta absurda de um mau sistema de uma ajuda racional, baseada em fatos, de uma IA competente.

Recentemente, em conferência na Índia, o cofundador e presidente executivo da OpenAI, Sam Altman, declarou: “Acho que vai levar um ano e meio, dois anos (para superar a alucinação). Algo assim. Há um equilíbrio entre criatividade e precisão perfeita, e o modelo precisará aprender quando você quer um ou outro”.

Apesar disso, uma parcela de especialistas afirma que a alucinação nunca deixará de ser um problema.

“Eu não acho que exista algum modelo hoje que não sofra de alguma alucinação”, disse ao Daniela Amodei, cofundadora e presidente da Anthropic, criadora do chatbot Claude 2, um dos rivais do ChatGPT. “Eles são realmente apenas projetados para prever a próxima palavra. E então haverá uma taxa em que o modelo faz isso de forma imprecisa.”

Publicidade

'Pai' do ChatGPT, Sam Altman é o cofundador e presidente executivo da startup OpenAI Foto: Patrick Semansky/AP - 16/5/2023

Isso porque, nos modelos de inteligência artificial generativa, o que ocorre é uma sequência matemática de probabilidade. Ao contrário do cérebro humano, o sistema de IA consegue gerar textos apenas porque é capaz de prever qual é a palavra mais plausível de vir em seguida.

Para Emily Bender, professora de linguística e diretora do Laboratório de Linguística Computacional da Universidade de Washington, os “acertos” desses chatbots são ao acaso.

“Como eles só inventam coisas, quando o texto extraído acontece de ser intepretável como algo que consideramos correto, isso é acaso”, diz Emily. “Mesmo que possam ser ajustados para estarem certos na maior parte do tempo, os chatbots de IA ainda terão modos de falha — e provavelmente, as falhas serão nos casos em que é mais difícil para uma pessoa notar, porque vão ser mais obscuras.” / COM ASSOCIATED PRESS

Comentários

Os comentários são exclusivos para assinantes do Estadão.