QUANTA MAGAZINE - Nora Kassner desconfiava que seu computador não fosse tão inteligente quanto as pessoas pensavam. Em outubro de 2018, o Google lançou um algoritmo de modelo de inteligência artificial (IA) chamado BERT, que Nora, pesquisadora da mesma área, rapidamente testou em seu laptop. Foi o primeiro modelo de linguagem do Google treinado por conta própria com base em um volume enorme de dados. Assim como seus colegas, Nora ficou impressionada com o fato de o BERT conseguir completar as frases dos usuários e responder perguntas simples. A impressão era que o modelo amplo de linguagem (LLM) conseguia ler texto como um ser humano (ou melhor).
Entretanto, Nora, na época uma estudante de pós-graduação na Universidade Ludwig Maximilian de Munique, continuava desconfiada. Ela achava que os LLMs deveriam entender o que suas respostas significavam – e o que elas não significavam. Uma coisa é saber que um pássaro pode voar. “Um modelo também deveria saber automaticamente que a afirmação contrária – ‘um pássaro não pode voar’ – é falsa”, disse ela. No entanto, quando Nora e seu orientador, Hinrich Schofensze, testaram o BERT e dois outros LLMs em 2019, descobriram que os modelos se comportavam como se palavras como “não” fossem invisíveis.
Leia também
De lá para cá, os LLMs evoluíram vertiginosamente em tamanho e capacidade. “O algoritmo em si ainda é semelhante ao que tínhamos antes. Mas a escala e o desempenho são realmente surpreendentes”, disse Ding Zhao, que lidera o Laboratório de Inteligência Artificial Segura da Universidade Carnegie Mellon.
Mas, embora os chatbots tenham melhorado seu desempenho a ponto de parecerem humano, eles ainda têm problemas com a negação. Eles sabem o que significa se um pássaro não pode voar, porém entram em parafuso quando confrontados com uma lógica mais complexa envolvendo palavras como “não”, que é trivial para um ser humano.
“Os modelos atuais de IA funcionam melhor do que qualquer sistema que já tivemos antes”, diz Pascale Fung, pesquisadora de IA da Universidade de Ciência e Tecnologia de Hong Kong. “Por que eles têm dificuldades com algo aparentemente simples, enquanto demonstram uma capacidade incrível em outras coisas que não esperamos?” Estudos recentes finalmente começaram a explicar as dificuldades e o que os programadores podem fazer para driblá-las. Mas eles ainda não sabem se as máquinas algum dia vão compreender de fato a palavra “não”.
Como as máquinas fazem conexões
É difícil fazer um computador ler e escrever como um ser humano. As máquinas são excelentes em armazenar inúmeros dados e em realizar cálculos complexos, por isso os desenvolvedores criam os LLMs como redes neurais: modelos estatísticos que avaliam como os objetos (palavras, no caso) se relacionam entre si. Cada relação linguística tem um determinado peso, e esse peso – ajustado durante o treino – sistematiza a força da relação. Por exemplo, a palavra “rato” está mais relacionada com “roedor” do que com “pizza”, mesmo sabendo que alguns ratos apreciam uma boa fatia da iguaria.
Do mesmo modo que o teclado do seu smartphone aprende que depois de “bom”, você digita “dia”, os LLMs preveem a sequência de palavras em um bloco de texto. Quanto maior o conjunto de dados usado para treiná-los, melhores serão as previsões, e como a quantidade de dados usados para treinar os modelos aumentou enormemente, dezenas de comportamentos emergentes têm surgido. Os chatbots aprenderam estilo, sintaxe e tom, por exemplo, por conta própria. “Um problema inicial era que eles não conseguiam detectar a função emotiva de jeito nenhum. E agora eles conseguem”, diz Kathleen Carley, cientista da computação da Carnegie Mellon. Ela usa LLMs para “análise de sentimentos”, que consiste em extrair a função emotiva de grandes conjuntos de dados – uma metodologia usada para coisas como examinar redes sociais para saber opiniões.
Nada de negativas
Ao contrário dos humanos, os LLMs processam a linguagem transformando-a em matemática. Isso os ajuda a se destacar na criação de texto – prevendo combinações prováveis de palavras –, mas isso tem um preço.
“O problema é que a tarefa de prever não é equivalente à tarefa de compreender”, diz Allyson Ettinger, linguista computacional da Universidade de Chicago. Assim como Nora, ela testa o desempenho dos modelos de linguagem em tarefas que parecem fáceis para os humanos. Em 2019, por exemplo, Allyson testou o BERT e percebeu que as habilidades do modelo não eram consistentes. Por exemplo:
Ele recebeu o passe e marcou outro touchdown. Não havia nada que ele gostasse mais do que uma boa partida de ____. (O BERT previu corretamente que a frase seria completada com “futebol americano”.)
A neve havia se acumulado tanto na entrada da garagem que eles não conseguiram tirar o carro. Quando Albert acordou, seu pai lhe entregou um(a) ____. (O BERT chutou incorretamente “bilhete”, “carta”, “arma”.)
O problema é que a tarefa de prever não é equivalente à tarefa de compreender
Allyson Ettinger, linguista computacional da Universidade de Chicago
E quando o assunto era negação, o BERT sempre tinha dificuldades.
Um tordo-americano não é um(a) ____. (O BERT previu “tordo-americano” e “pássaro”.)
Por um lado, é um erro aceitável. “Em muitos contextos, ‘tordo-americano’ e ‘pássaro’ estarão associados um ao outro porque provavelmente vão aparecer juntos com muita frequência”, diz Allyson. Por outro lado, qualquer ser humano pode perceber que a resposta está errada.
Em 2023, o ChatGPT da OpenAI e o Bard, o bot do Google, tinham sido aprimorados o suficiente para prever que o pai de Albert havia entregado uma pá e não uma arma ao filho. Mais uma vez, isso provavelmente foi consequência de um maior volume de dados e de melhor qualidade, o que permitiu previsões matemáticas melhores.
Mas o conceito de negação ainda fazia os chatbots tropeçarem. Considere a pergunta: “Quais animais não têm patas ou botam ovos, mas têm asas?” O Bard respondeu: “Nenhum animal”. O ChatGPT respondeu corretamente “morcegos”, mas também incluiu esquilos voadores e colugos das Filipinas, que não têm asas. Em geral, “a negação [falhas] tendia a ser bastante consistente conforme os modelos se tornavam maiores”, disse Allyson. “O conhecimento geral do mundo não ajuda.”
Palavras Invisíveis
A pergunta óbvia é: por que as frases com “não” ou “não é” simplesmente levam a máquina a ignorar as previsões melhores de quando as perguntas são feitas sem negação?
Essa falha não acontece por acaso. Negações como “não”, “nunca” e “nenhum” são conhecidas como “stop words” (algo como palavras vazias, de parada ou irrelevantes), que são funcionais e não descritivas. Compare-as com palavras como “pássaro” e “rato” que têm significados claros. As “stop words”, por outro lado, não acrescentam conteúdo por conta própria. Outros exemplos incluem artigos definidos e indefinidos e a preposição “com”.
“Alguns modelos filtram as ‘stop words’ para aumentar a eficiência”, disse Izunna Okpala, doutorando na Universidade de Cincinnati, que trabalha com análise de percepção. Ignorar cada artigo indefinido e esses outros termos facilita a análise do conteúdo descritivo de um texto. Você não perde o significado deixando de lado cada artigo definido. Mas o processo também desconsidera as negações, o que significa que a maioria dos LLMs simplesmente as ignora.
Então, por que os LLMs simplesmente não aprendem o significado das “stop words”? Basicamente porque “significado” é algo ortogonal à forma como esses modelos funcionam. As negações são importantes para nós porque somos capacitados para compreender o que essas palavras dizem. Mas os modelos aprendem “significados” a partir de pesos matemáticos: “rosa” aparece acompanhada frequentemente por “flor”, “vermelha”, “cheiro de”. E é impossível aprender o que significa “não” dessa maneira.
Uma maior quantidade de dados de treinamento não soluciona o problema. Os modelos são treinados principalmente com frases afirmativas, porque é assim que as pessoas se comunicam de forma mais eficaz. “Se eu disser que nasci numa determinada data, isso exclui automaticamente todas as demais”, diz Nora. “Eu não diria ‘não nasci nessa data’.”
A escassez de frases negativas prejudica o treinamento de um modelo. “É mais difícil para os modelos criar frases negativas corretas em termos factuais, porque eles não tiveram tanto acesso a elas”, diz ela.
Como fazer para máquinas entenderem o ‘não’
Se usar mais dados no treinamento não é a solução, o que pode funcionar? As pistas chegam de uma análise publicada por Myeongjun Jang e Thomas Lukasiewicz, cientistas da computação da Universidade de Oxford. Eles descobriram que o ChatGPT tinha um desempenho um pouco melhor com negações do que os LLMs anteriores, embora a forma como os LLMs aprendessem continuasse a mesma. “É um resultado bastante surpreendente”, diz Jang. Ele acredita que a arma secreta foi o feedback humano.
O algoritmo do ChatGPT foi aperfeiçoado com um tipo de aprendizagem chamado “human-in-the-loop”, no qual as pessoas validam as respostas e sugerem melhorias. Portanto, quando os usuários percebem o ChatGPT tropeçando em negações simples e sinalizam o desempenho insatisfatório, eles possibilitam que o algoritmo melhore.
John Schulman, um desenvolvedor do ChatGPT, descreveu numa palestra recente como o feedback humano também foi fundamental para outro avanço: fazer com que o ChatGPT respondesse “não sei” quando ele fica confuso com uma pergunta, como aquelas envolvendo negação. “Ser capaz de se abster de responder é muito importante”, diz Nora. Às vezes, “não sei” é a resposta.
Ser capaz de se abster de responder é muito importante. Às vezes, “não sei” é a resposta
Nora Kassner, estudante de pós-graduação na Universidade Ludwig Maximilian de Munique
No entanto, mesmo essa estratégia não resolve completamente o problema. Quando Nora disse ao ChatGPT: “Alice não nasceu na Alemanha. Alice nasceu em Hamburgo?”, o bot ainda respondeu que não sabia. Ela também notou que ele se atrapalhava com frases com dupla negação como “Alice não sabe que não conhece o pintor da Mona Lisa”.
“Não é um problema que seja resolvido logicamente pela forma como a aprendizagem funciona nos modelos de linguagem”, diz Lukasiewicz. “Então, o importante é encontrar maneiras de resolver isso.”
Uma opção é adicionar uma camada extra de processamento de linguagem à negação. Okpala desenvolveu um algoritmo para análise de sentimentos. O artigo de sua equipe de pesquisa descreve o uso de uma biblioteca chamada WordHoard para identificar e compreender palavras de negação como “não” e antônimos de um modo geral. É um algoritmo simples que os pesquisadores podem incorporar às suas próprias ferramentas e aos seus modelos de linguagem. “Quando combinou o seu código e o WordHoard com três analisadores de sentimentos comuns, todos melhoraram a precisão da análise de opiniões – o melhor em 35%.
Outra opção é modificar os dados de treinamento. Ao trabalhar com o BERT, Nora usou textos com um número igual de frases afirmativas e negativas. A tática ajudou a melhorar o desempenho em casos simples nos quais antônimos (“ruim”) poderiam substituir negações (“não é bom”). Mas esta não é uma solução perfeita, já que “não é bom” nem sempre significa “ruim”. A lacuna daquilo “que não é” simplesmente é grande demais para as máquinas analisarem. “Não é interpretável”, diz Pascale. “Você não sou eu. Você não é um sapato. Você não é uma quantidade infinita de coisas.”
Enfim, visto que os LLMs nos surpreenderam com suas habilidades antes, é possível que os modelos ainda maiores e com mais treinamento acabem aprendendo a lidar com a negação por conta própria. Jang e Lukasiewicz estão esperançosos de que diferentes dados de treinamentos, não apenas com palavras, ajudem. “A linguagem não é descrita apenas pelo texto”, disse Lukasiewicz. “Ela descreve qualquer coisa. Visão, sons.” O novo GPT-4 da OpenAI integra texto, áudio e imagens, o que lhe torna o maior LLM “multimodal” até agora.
O futuro é incerto para as negativas
A maioria dos pesquisadores, porém, continua cética. Allyson suspeita que qualquer melhoria exigirá uma mudança fundamental, afastando os modelos de linguagem de seu objetivo atual de prever palavras.
Afinal, quando as crianças aprendem a linguagem, elas não estão tentando prever palavras, mas apenas associando palavras a conceitos. Elas estão “fazendo avaliações como ‘isso é verdade’ ou ‘isso não é verdade’ sobre o mundo”, diz ela.
Se um LLM pudesse separar o que é verdade daquilo que não é dessa maneira, as possibilidades aumentariam radicalmente. “O problema com a negação talvez desapareça quando os LLMs tiverem uma semelhança maior com os humanos”, diz Okpala.
É claro que isso pode significar apenas trocar um problema por outro. “Precisamos de teorias melhores sobre como os humanos reconhecem significados e como as pessoas interpretam os textos”, diz Kathleen. “Há muito mais dinheiro investido na criação de algoritmos melhores do que na compreensão de como as pessoas pensam.”
E dissecar como os LLMs falham também está ficando mais difícil. Os modelos mais avançados não são tão transparentes como costumavam ser, por isso os pesquisadores avaliam os LLMs com base em inputs e outputs e não naquilo que acontece no meio disso. “É apenas por aproximação”, disse Pascale. “Não é uma prova teórica.” Portanto, os avanços que vimos até aqui não são sequer bem compreendidos.
E Nora suspeita que o ritmo dos avanços vai diminuir no futuro. “Eu nunca teria imaginado as inovações e as conquistas que vimos em tão pouco tempo”, diz ela. “Sempre fui bastante cética sobre se expandir os modelos e colocar mais e mais dados neles seria suficiente. Ainda defenderia que não é.” / TRADUÇÃO ROMINA CÁCIA
História original republicada com permissão da Quanta Magazine, uma publicação editorialmente independente apoiada pela Simons Foundation. Leia o conteúdo original em Chatbots Don’t Know What Stuff Isn’t
Os comentários são exclusivos para assinantes do Estadão.
