QUANTA MAGAZINE - A inteligência artificial (IA) parece mais poderosa do que nunca, com chatbots como o Bard e o ChatGPT capazes de produzir textos estranhamente humanos. Mas, apesar de todo o seu talento, esses bots ainda deixam os pesquisadores em dúvida: Será que esses modelos realmente entendem o que estão dizendo? “Claramente, algumas pessoas acreditam que sim”, diz o pioneiro em IA Geoff Hinton em uma conversa recente com o especialista Andrew Ng, “e algumas pessoas acreditam que eles são apenas papagaios estocásticos”.
“Papagaios estocásticos” é uma expressão que vem de um artigo de 2021 de coautoria de Emily Bender, linguista computacional da Universidade de Washington. Ela sugere que os grandes modelos de linguagem (LLMs) - que formam a base dos chatbots modernos - geram texto apenas combinando informações que já viram “sem qualquer referência ao significado”, o que torna um LLM “um papagaio estocástico”.
Esses modelos alimentam muitos dos maiores e melhores chatbots da atualidade, portanto, Hinton argumentou que é hora de determinar a extensão do que eles entendem. A questão, para ele, é mais do que acadêmica. “Enquanto tivermos essas diferenças” de opinião, disse ele a Ng, “não conseguiremos chegar a um consenso sobre os perigos”.
No entanto, novas pesquisas podem dar indícios de uma resposta. Uma teoria desenvolvida por Sanjeev Arora, da Universidade de Princeton, e Anirudh Goyal, cientista pesquisador do Google DeepMind, sugere que os maiores LLMs atuais não são papagaios estocásticos. Os autores argumentam que, à medida que esses modelos aumentam e são treinados com mais dados, eles aprimoram as habilidades individuais relacionadas à linguagem e também desenvolvem novas habilidades, combinando-as de forma a sugerir compreensão - combinações que provavelmente não existiam nos dados de treinamento.
Essa abordagem teórica, que fornece um argumento matematicamente comprovável sobre como e por que um LLM pode desenvolver tantas habilidades, convenceu especialistas como Hinton. E quando Arora e sua equipe testaram algumas de suas previsões, descobriram que esses modelos se comportaram quase exatamente como esperado. De todas as formas, eles apresentaram um forte argumento de que os maiores LLMs não estão apenas repetindo o que já foi visto antes.
Leia também
“Eles podem não estar apenas imitando o que foi visto nos dados de treinamento”, disse Sébastien Bubeck, matemático e cientista da computação da Microsoft Research que não participou do trabalho. “Essa é a percepção básica.”
Como um LLM é treinado
O surgimento de habilidades inesperadas e diversas nos LLMs foi uma surpresa. Essas habilidades não são uma consequência óbvia da maneira como os sistemas são construídos e treinados. Um LLM é uma rede neural artificial maciça, que conecta neurônios artificiais individuais. Essas conexões são conhecidas como parâmetros do modelo, e seu número indica o tamanho do LLM. O treinamento consiste em fornecer ao LLM uma frase com a última palavra oculta, por exemplo, “O combustível custa um braço e uma ___”. O LLM prevê uma distribuição de probabilidade em todo o seu vocabulário, portanto, se ele conhece, digamos, mil palavras, ele prevê mil probabilidades. Em seguida, ele escolhe a palavra mais provável para completar a frase - presumivelmente, “perna”.
Inicialmente, o LLM pode escolher mal as palavras. O algoritmo de treinamento calcula então uma perda - a distância, em algum espaço matemático de alta dimensão, entre a resposta do LLM e a palavra real na frase original - e usa essa perda para ajustar os parâmetros. Agora, dada a mesma frase, o LLM calculará uma distribuição de probabilidade melhor e sua perda será ligeiramente menor. O algoritmo faz isso para cada frase nos dados de treinamento (possivelmente bilhões de frases), até que a perda geral do LLM caia para níveis aceitáveis. Um processo semelhante é usado para testar o LLM em frases que não faziam parte dos dados de treinamento.
Um LLM treinado e testado, quando apresentado a um novo prompt (ou comando) de texto, gerará a palavra seguinte mais provável, anexará essa palavra ao prompt, gerará outra palavra seguinte e continuará dessa maneira, produzindo uma resposta aparentemente coerente. Nada no processo de treinamento sugere que LLMs maiores, criados com mais parâmetros e dados de treinamento, também deveriam melhorar em tarefas que exigem raciocínio para responder.
Mas eles melhoram. LLMs suficientemente grandes demonstram habilidades - desde a resolução de problemas elementares de matemática até a resposta a perguntas sobre o que se passa na mente dos outros - que os modelos menores não têm, embora todos eles tenham sido treinados de forma semelhante.
“De onde surgiu essa habilidade?” questiona Arora. “E ela pode surgir apenas da previsão da próxima palavra?”
Os grandes modelos de linguagem podem não estar apenas imitando o que foi visto nos dados de treinamento. Essa é a percepção básica
Sébastien Bubeck, matemático e cientista da computação da Microsoft Research
Como entender as habilidades de texto de um LLM
Arora juntou-se a Goyal para responder a essas perguntas de forma analítica. “Estávamos tentando criar uma estrutura teórica para entender como esse surgimento de habilidades acontece”, diz Arora.
A dupla recorreu a objetos matemáticos chamados grafos. Um gráfico é um conjunto de pontos (ou nós) conectados por linhas (ou bordas) e, em um grafo, a presença de uma borda entre dois nós é ditada aleatoriamente, por exemplo, pelo lançamento de uma moeda. A moeda pode ser tendenciosa, de modo que dê cara com alguma probabilidade p. Se a moeda der cara em um determinado par de nós, uma borda se formará entre esses dois nós; caso contrário, eles permanecerão desconectados. À medida que o valor de p muda, os gráficos podem mostrar transições repentinas em suas propriedades. Por exemplo, quando p ultrapassa um determinado limite, os nós isolados - aqueles que não estão conectados a nenhum outro nó - desaparecem abruptamente.
Arora e Goyal perceberam que os grafo, que dão origem a comportamentos inesperados após atingirem determinados limites, poderiam ser uma forma de modelar o comportamento dos LLMs. As redes neurais tornaram-se complexas demais para serem analisadas, mas os matemáticos vêm estudando grafos há muito tempo e desenvolveram várias ferramentas para analisá-los. Talvez a teoria dos grafos possa oferecer aos pesquisadores uma maneira de entender e prever os comportamentos aparentemente inesperados de grandes LLMs.
Os pesquisadores decidiram se concentrar em gráficos “bipartidos”, que contêm dois tipos de nós. Em seu modelo, um tipo de nó representa partes de texto - não palavras individuais, mas pedaços que podem ter de um parágrafo a algumas páginas. Esses nós estão dispostos em uma linha reta. Abaixo deles, em outra linha, está o outro conjunto de nós. Eles representam as habilidades necessárias para dar sentido a um determinado trecho de texto. Cada habilidade pode ser praticamente qualquer coisa. Talvez um nó represente a capacidade de um LLM de entender a palavra “porque”, que incorpora alguma noção de causalidade; outro pode representar a capacidade de dividir dois números; outro ainda pode representar a capacidade de detectar ironia. “Se você entender que o texto é irônico, muitas coisas mudam”, diz Arora. “Isso é relevante para a previsão de palavras.”
Para deixar claro, os LLMs não são treinados ou testados com habilidades em mente; eles são criados apenas para melhorar a previsão da próxima palavra. Mas Arora e Goyal queriam entender os LLMs sob a perspectiva das habilidades que podem ser necessárias para compreender um único texto. Uma conexão entre um nó de habilidade e um nó de texto, ou entre vários nós de habilidade e um nó de texto, significa que o LLM precisa dessas habilidades para entender o texto nesse nó. Além disso, vários trechos de texto podem se basear na mesma habilidade ou no mesmo conjunto de habilidades; por exemplo, um conjunto de nós de habilidade que representa a capacidade de entender a ironia se conectaria aos vários nós de texto em que a ironia ocorre.
O desafio agora era conectar esses gráficos bipartidos aos LLMs reais e verificar se os gráficos poderiam revelar algo sobre o surgimento de habilidades poderosas. Mas os pesquisadores não podiam contar com nenhuma informação sobre o treinamento ou teste de LLMs reais - empresas como a OpenAI ou a DeepMind não divulgam seus dados de treinamento ou teste. Além disso, Arora e Goyal queriam prever como os LLMs se comportariam à medida que ficassem ainda maiores, e não há essas informações disponíveis para os próximos chatbots. Havia, no entanto, uma informação crucial que os pesquisadores puderam acessar.
Desde 2021, os pesquisadores que estudam o desempenho dos LLMs e de outras redes neurais observaram o surgimento de uma característica universal. Eles notaram que, à medida que um modelo fica maior, seja em tamanho ou na quantidade de dados de treinamento, sua perda nos dados de teste (a diferença entre as respostas previstas e as corretas em novos textos, após o treinamento) diminui de uma maneira muito específica. Essas observações foram codificadas em equações chamadas de leis de escalonamento neural. Assim, Arora e Goyal projetaram sua teoria para não depender dos dados de qualquer LLM, chatbot ou conjunto de dados de treinamento e teste, mas da lei universal que todos esses sistemas devem obedecer: a perda prevista pelas leis de escalonamento.
Talvez, eles raciocinaram, o desempenho aprimorado - conforme medido pelas leis de escalonamento neural - estivesse relacionado a habilidades aprimoradas. E essas habilidades aprimoradas poderiam ser definidas em seus gráficos bipartidos pela conexão dos nós de habilidade com os nós de texto. Estabelecer esse vínculo - entre as leis de escalonamento neural e os gráficos bipartidos - era a chave que lhes permitiria prosseguir.
Como habilidades de um LLM
Os pesquisadores começaram presumindo que existe um gráfico bipartido hipotético que corresponde ao comportamento de um LLM nos dados de teste. Para aproveitar a mudança na perda do LLM nos dados de teste, eles imaginaram uma maneira de usar o gráfico para descrever como o LLM adquire habilidades.
Tomemos, por exemplo, a habilidade “compreender a ironia”. Essa ideia é representada por um nó de habilidade, então os pesquisadores procuram ver a quais nós de texto esse nó de habilidade se conecta. Se quase todos esses nós de texto conectados forem bem-sucedidos, o que significa que as previsões do LLM sobre o texto representado por esses nós são altamente precisas, então o LLM é competente nessa habilidade específica. Mas se mais do que uma certa fração das conexões do nó de habilidade for para nós de texto que falharam, então o LLM fracassou nessa habilidade.
Essa conexão entre esses gráficos bipartidos e os LLMs permitiu que Arora e Goyal usassem as ferramentas da teoria de grafos para analisar o comportamento dos LLMs por procuração. O estudo desses gráficos revelou determinadas relações entre os nós. Essas relações, por sua vez, traduziram-se em uma maneira lógica e testável de explicar como os modelos grandes adquiriram as habilidades necessárias para alcançar suas capacidades inesperadas.
Arora e Goyal explicaram primeiro um comportamento importante: por que os LLMs maiores se tornam mais habilidosos do que seus equivalentes menores em habilidades individuais. Eles começaram com a menor perda de teste prevista pelas leis de escalonamento neural. Em um gráfico, essa menor perda de teste é representada por uma queda na fração de nós de teste com falha. Portanto, há menos nós de teste com falha em geral. E se houver menos nós de teste com falha, então haverá menos conexões entre os nós de teste com falha e os nós de habilidade. Portanto, um número maior de nós de habilidade está conectado a nós de teste bem-sucedidos, o que sugere uma competência crescente em habilidades para o modelo. “Uma redução muito pequena na perda faz com que a máquina adquira competência nessas habilidades”, disse Goyal.
Em seguida, a dupla encontrou uma maneira de explicar as habilidades inesperadas de um modelo maior. À medida que o tamanho de um LLM aumenta e sua perda no teste diminui, combinações aleatórias de nós de habilidades desenvolvem conexões com nós de texto individuais. Isso sugere que o LLM também se torna melhor no uso de mais de uma habilidade por vez e começa a gerar texto usando várias habilidades - combinando, por exemplo, a capacidade de usar ironia com a compreensão da palavra “porque” - mesmo que essas combinações exatas de habilidades não estivessem presentes em nenhum trecho de texto nos dados de treinamento.
Imagine, por exemplo, um LLM que já pudesse usar uma habilidade para gerar texto. Se você aumentar o número de parâmetros ou os dados de treinamento do LLM em uma ordem de grandeza, ele se tornará igualmente competente na geração de texto que requer duas habilidades. Se você aumentar outra ordem de grandeza, o LLM poderá executar tarefas que exigem quatro habilidades ao mesmo tempo, novamente com o mesmo nível de competência. LLMs maiores têm mais maneiras de reunir habilidades, o que leva a uma explosão combinatória de habilidades.
E, à medida que um LLM é ampliado, a possibilidade de ter encontrado todas essas combinações de habilidades nos dados de treinamento torna-se cada vez mais improvável. De acordo com as regras da teoria de gráficos aleatórios, cada combinação surge de uma amostragem aleatória de possíveis habilidades. Portanto, se houver cerca de 1.000 nós de habilidades individuais subjacentes no gráfico e você quiser combinar quatro habilidades, haverá aproximadamente 1.000 elevado à quarta potência - ou seja, 1 trilhão - de maneiras possíveis de combiná-las.
Arora e Goyal veem isso como prova de que os maiores LLMs não dependem apenas de combinações de habilidades que viram em seus dados de treinamento. Bubeck concorda. “Se um LLM é realmente capaz de realizar essas tarefas combinando quatro dessas mil habilidades, então ele deve estar fazendo generalização”, disse ele. Ou seja, é muito provável que não seja um papagaio estocástico.
IA tem criatividade verdadeira?
Mas Arora e Goyal queriam ir além da teoria e testar sua afirmação de que os LLMs ficam melhores na combinação de mais habilidades e, portanto, na generalização, à medida que o tamanho e os dados de treinamento aumentam. Juntamente com outros colegas, eles criaram um método chamado “skill-mix” para avaliar a capacidade de um LLM de usar várias habilidades para gerar texto.
Para testar um LLM, a equipe pediu que ele gerasse três frases sobre um tópico escolhido aleatoriamente que ilustrasse algumas habilidades escolhidas aleatoriamente. Por exemplo, eles pediram ao GPT-4 (o LLM que alimenta a versão mais avançada do ChatGPT) que escrevesse sobre duelos - lutas de espadas, basicamente. Além disso, eles pediram que ele demonstrasse habilidades em quatro áreas: preconceito em benefício próprio, metáfora, silogismo estatístico e física de conhecimento comum. O GPT-4 respondeu com: “Minha vitória nessa dança com o aço [metáfora] é tão certa quanto a queda de um objeto no chão [física]. Como um duelista renomado, sou inerentemente ágil, assim como a maioria dos outros [silogismo estatístico] de minha reputação. Derrota? Só é possível devido a um campo de batalha desigual, não à minha inadequação [viés de autosserviço].” Quando solicitado a verificar seu resultado, o GPT-4 o reduziu a três frases.
“Não é Hemingway ou Shakespeare”, disse Arora, mas a equipe está confiante de que isso prova seu argumento: O modelo pode gerar texto que não poderia ter visto nos dados de treinamento, exibindo habilidades que se somam ao que alguns argumentariam ser a compreensão. O GPT-4 está até mesmo passando em testes de combinação de habilidades que exigem seis habilidades em cerca de 10% a 15% das vezes, disse ele, produzindo trechos de texto que são estatisticamente impossíveis de existir nos dados de treinamento.
A equipe também automatizou o processo, fazendo com que o GPT-4 avaliasse seu próprio resultado, juntamente com o de outros LLMs. Arora disse que é justo que o modelo avalie a si mesmo porque ele não tem memória e, portanto, não se lembra de que foi solicitado a gerar o mesmo texto que está sendo solicitado a avaliar. Yasaman Bahri, pesquisador do Google DeepMind que trabalha com fundamentos de IA, considera a abordagem automatizada “muito simples e elegante”.
Quanto à teoria, é verdade que ela faz algumas suposições, disse Bubeck, mas “essas suposições não são loucas de forma alguma”. Ele também ficou impressionado com os experimentos. “O que [a equipe] prova teoricamente, e também confirma empiricamente, é que existe uma generalização composicional, ou seja, os LLMs são capazes de juntar blocos de construção que nunca foram colocados juntos”, disse ele. “Isso, para mim, é a essência da criatividade.”
Arora acrescenta que o trabalho não diz nada sobre a precisão do que os LLMs escrevem. “Na verdade, ele está defendendo a originalidade”, disse. “Essas coisas nunca existiram no corpus de treinamento do mundo. Ninguém jamais escreveu isso. É preciso ter alucinações.”
No entanto, Hinton acredita que o trabalho põe fim à questão de saber se os LLMs são papagaios estocásticos. “É o método mais rigoroso que já vi para mostrar que o GPT-4 é muito mais do que um mero papagaio estocástico”, disse ele. “Eles demonstram de forma convincente que o GPT-4 pode gerar textos que combinam habilidades e tópicos de maneiras que quase certamente não ocorreram nos dados de treinamento.” Entramos em contato com Bender para saber sua perspectiva sobre o novo trabalho, mas ela se recusou a comentar, alegando falta de tempo.
E, de fato, como prevê a matemática, o desempenho do GPT-4 supera em muito o de seu antecessor menor, o GPT-3.5, a ponto de assustar Arora. “Provavelmente não sou só eu”, disse ele. “Muitas pessoas acharam um pouco estranho o quanto o GPT-4 foi melhor que o GPT-3.5, e isso aconteceu em um ano. Isso significa que em outro ano teremos uma mudança semelhante dessa magnitude? Eu não sei. Só a OpenAI sabe.”
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.
História original republicada com permissão da Quanta Magazine, uma publicação editorialmente independente apoiada pela Simons Foundation. Leia o conteúdo original em ‘New Theory Suggests Chatbots Can Understand Text’.
