Desde o lançamento do GPT-4 em março de 2023, a OpenAI tem enfrentado uma pergunta persistente: quando será lançado o GPT-5?
A companhia desencadeou a revolução da inteligência artificial (IA) generativa com seus grandes modelos de linguagem, e a expectativa com cada nova geração gera burburinho ao de o novo álbum de uma estrela pop. Mas a chegada do GPT-5 não seguiu o roteiro esperado. Dois anos após o lançamento do GPT-4, o mundo ainda aguarda seu sucessor – e se pergunta o que está atrasando o desenvolvimento (o GPT-4.5 foi lançado pela empresa no último dia 28).
No início deste mês, o CEO e cofundador da OpenAI, Sam Altman, deu algumas pistas ao anunciar em um tuíte que o GPT-4.5 e o GPT-5 seriam lançados em questão de “semanas/meses”. O executivo de 39 anos manteve silêncio sobre os motivos específicos para a demora no desenvolvimento do GPT-5, embora tenha prometido que sua empresa faria um “trabalho melhor em compartilhar o planejamento”.
No entanto, a grande novidade no “roteiro” de Altman não foi apenas a data de lançamento do GPT-5, mas a revelação de uma mudança estrutural dentro da empresa. Escondida em jargões sobre modelos “que não usam a cadeia de raciocínio” e nomes de projetos como “Orion”, estava a admissão de que a OpenAI mudou discretamente sua estratégia central.
Após anos defendendo a abordagem “quanto maior, melhor”, baseada no pré-treinamento de modelos com volumes cada vez maiores de dados, Altman reconheceu que a técnica de escalonamento não estava mais gerando avanços significativos no desempenho.
Ou seja, a fórmula que criou o ChatGPT e impulsionou a OpenAI a uma avaliação de US$ 157 bilhões perdeu força, e a empresa precisou mudar sua estratégia para conseguir lançar o GPT-5.
O impacto da mudança da OpenAI
Embora o escopo completo da nova abordagem da OpenAI ainda não esteja claro, as implicações dessa mudança devem ir muito além da empresa e afetar toda a rede de negócios e investimentos na corrida pelo desenvolvimento de IA cada vez mais poderosa – de fabricantes de chips especializados a data centers e fornecedores de energia.
Em janeiro, por exemplo, Altman apareceu ao lado do ex-presidente Donald Trump, do CEO da Oracle, Larry Ellison, e do CEO do SoftBank, Masayoshi Son, para anunciar o gigantesco projeto de data centers Stargate, avaliado em US$ 500 bilhões – um projeto que pode se tornar menos essencial se a IA puder ser desenvolvida com menos recursos.
Leia também
A Microsoft investiu US$ 13 bilhões na OpenAI (além dos US$ 6,6 bilhões levantados junto a outros investidores), apostando que sua parceria com a startup garantiria liderança tecnológica no setor de IA por anos – sob a premissa de que o caminho para modelos cada vez mais avançados seguiría um crescimento previsível e linear.
Agora, essa trajetória parece muito menos certa.
A Fortune conversou com especialistas da indústria de IA para entender melhor o que levou a OpenAI a mudar seus planos, como sua abordagem na construção de modelos está evoluindo e o que isso significa para a empresa e o setor de inteligência artificial.
A questão de Orion
Dois dias depois de completar 39 anos, em abril do ano passado, Sam Altman participou de uma palestra na Universidade Stanford – a mesma instituição que ele abandonou anos antes para seguir carreira como fundador de startups.
O evento era voltado para alunos do programa de empreendedorismo, e, naturalmente, surgiu a pergunta sobre o GPT-5. Altman respondeu destacando o poder inabalável da abordagem da OpenAI para construir seus modelos GPT:
“Acho que este é um dos fatos mais notáveis da história humana – o fato de que podemos simplesmente fazer algo e dizer, com um alto grau de certeza científica, que o GPT-5 será muito mais inteligente que o GPT-4, que o GPT-6 será muito mais inteligente que o GPT-5. E ainda estamos longe do topo dessa curva; sabemos o que fazer.”
No entanto, se Altman sabia disso ou não naquele momento, a abordagem de escalonamento da OpenAI para treinar seus modelos GPT havia atingido um limite. Desde 2018, a empresa apostava no aumento exponencial do tamanho dos modelos e na alimentação com quantidades cada vez maiores de dados durante a fase inicial de pré-treinamento (o “P” em GPT significa “pre-trained”, ou pré-treinado). Mas essa estratégia não estava mais gerando os avanços esperados.
Quando Altman compartilhou o roteiro da OpenAI em seu tuíte deste mês, essa realidade já não podia mais ser ignorada ou negada.
“Vamos lançar o GPT-4.5, o modelo que chamávamos internamente de Orion, como nosso último modelo sem cadeia de raciocínio”, escreveu Altman. O GPT-5, que Altman afirmou que virá após o Orion, combinará o tradicional pré-treinamento da OpenAI com um novo método chamado “chain of thought” (cadeia de raciocínio).
O que é ‘Chain of Thought’?
A cadeia de raciocínio é uma técnica na qual um modelo de IA, após ser pré-treinado, passa por um processo adicional de pós-treinamento, onde aprende a responder de maneira mais deliberada e passo a passo. Esse método permite que o modelo considere diferentes caminhos para chegar à melhor resposta.
Este processo é a base da atual onda de modelos de IA focados em raciocínio. Esses modelos processam informações mais lentamente do que os modelos GPT puramente pré-treinados, mas oferecem respostas melhores para tarefas que exigem lógica, como programação e matemática.
A OpenAI já está na vanguarda desse tipo de IA com seus modelos o1 e o3 (a DeepSeek, da China, também é uma das principais desenvolvedoras de modelos de raciocínio). No entanto, a série “o” da OpenAI é distinta da linha principal de modelos GPT – e apenas aumentar o tamanho dos modelos GPT não estava mais trazendo melhorias significativas, um problema que ficou evidente com Orion.
Orion: o GPT-5 que não aconteceu
Orion, que agora será o último modelo puramente pré-treinado, originalmente deveria ser o GPT-5. Essa informação foi revelada por dois ex-funcionários da OpenAI, que falaram sob anonimato.
No entanto, Orion não conseguiu entregar ganhos de desempenho significativos em relação ao GPT-4, segundo reportagens do The Information (novembro) e do Wall Street Journal (dezembro).
Essas reportagens indicaram que Orion superava o GPT-4 em algumas tarefas linguísticas, mas não apresentava grandes avanços em programação e matemática.
De acordo com o Wall Street Journal, a OpenAI realizou pelo menos duas grandes rodadas de treinamento de Orion, cada uma durando vários meses, mas os resultados ficaram abaixo das expectativas dos pesquisadores da empresa.
O limite da estratégia da OpenAI
O professor Gary Marcus, especialista em IA e um dos principais críticos das abordagens atuais da tecnologia, sempre foi cético em relação à estratégia de escalonamento da OpenAI.
Ele argumenta que a OpenAI descobriu que não consegue superar as limitações fundamentais dos modelos GPT. Entre outros problemas, esses modelos têm dificuldade em distinguir fatos de ficção e sofrem do fenômeno conhecido como “alucinação”, onde geram informações erradas com extrema confiança.
Marcus afirma que a OpenAI criou grandes expectativas de que o GPT-5 resolveria esses desafios e seria muito superior ao GPT-4.
“Minha impressão é que eles tentaram, tentaram com afinco, mas não conseguiram chegar a nada que considerassem satisfatório”, diz ele.
Quando questionada sobre se a OpenAI estava admitindo que não conseguiu criar um GPT-5 com um salto de desempenho grande o suficiente para justificar o nome, um porta-voz da empresa respondeu: “Continuamos focados em desenvolver e aprimorar tanto nossos modelos GPT quanto os da série o, e compartilharemos mais detalhes quando estivermos prontos.”
A OpenAI também apontou avanços anunciados desde dezembro, como os modelos o1 e o3-mini, o sistema de IA Operator, que usa computadores para realizar tarefas, e a Deep Research, que gera relatórios detalhados.
No entanto, todos esses avanços são baseados no chain of thought, e não na abordagem tradicional de escalonamento que impulsionou os primeiros GPTs.
Em um post no blog da OpenAI este mês, Altman afirmou que as “leis de escalonamento” da IA, que preveem “ganhos contínuos e previsíveis”, ainda são válidas.
Porém, a forma como Altman descreveu o escalonamento mudou. Ele agora se refere não apenas ao treinamento do modelo, mas também à execução dele, o que sugere que o conceito de escalonamento da OpenAI passou a incluir o novo método de raciocínio.
Sinais de alerta
Os sinais de alerta de que a abordagem de escalonamento por pré-treinamento usada pela OpenAI para o Orion estava atingindo seus limites vêm crescendo há meses – inclusive entre alguns ex-alunos proeminentes da OpenAI.
Ilya Sutskever, ex-cientista-chefe da OpenAI, que agora dirige sua própria startup, a Safe SuperIntelligence (SSI), disse a uma plateia em uma importante conferência de IA, em dezembro, que “o pré-treinamento como o conhecemos chegará inquestionavelmente ao fim.” O motivo, segundo ele, é que o mundo está ficando sem dados criados por humanos para alimentar modelos GPT cada vez maiores. “Os dados não estão crescendo porque temos apenas uma internet,” afirmou.
A OpenAI nunca revelou exatamente o tamanho do GPT-4 nem quais, ou quantos, dados foram usados em seu treinamento. No entanto, especialistas externos estimam que o modelo pode ter até 1,8 trilhão de parâmetros—essencialmente, nós ajustáveis em sua rede neural. Esses especialistas também presumem que o modelo foi treinado com praticamente toda a internet pública acessível, além de vários grandes conjuntos de dados privados.
Não é difícil ver o problema que uma empresa como a OpenAI enfrenta ao tentar construir o próximo grande modelo de IA—e todos os que virão depois. Pode parecer que estamos afundando em um oceano de dados, mas, na era da IA, os dados são uma mercadoria escassa.
Os chamados dados sintéticos (dados criados por IA para imitar dados humanos) são uma forma de contornar essa limitação, mas apresentam possíveis desvantagens. Pesquisadores demonstraram que, se um modelo for treinado com uma quantidade excessiva de dados sintéticos, ele pode sofrer um fenômeno chamado “colapso do modelo”, no qual seu desempenho despenca drasticamente.
Além disso, o transporte de dados entre milhares de GPUs em enormes data centers durante o treinamento é outro grande desafio, com alguns engenheiros sugerindo que estamos nos aproximando dos limites físicos das tecnologias atuais de rede e comutação.
O custo crescente
Naturalmente, os custos explodem conforme esses data centers crescem. Altman já afirmou que os treinamentos de modelos do tamanho do GPT-5 ou maiores podem custar até US$ 1 bilhão — e isso se refere apenas ao aluguel de computação em nuvem para treinar o modelo, um custo amplamente determinado pelo gasto energético de manter tantas GPUs funcionando 24 horas por dia, por semanas e meses.
Isso não inclui os custos de construção dos data centers. O primeiro supercomputador Stargate da OpenAI deverá ter até 2 milhões de GPUs, custar US$ 100 bilhões para ser construído e consumir 1 gigawatt de energia por ano — o equivalente ao consumo de uma grande cidade americana.
Atualmente, um dos maiores data centers do mundo para treinamento de IA pertence à xAI, de Elon Musk, que possui 100 mil GPUs em um único local no Tennessee. E, mesmo com essa megaestrutura, a xAI ainda não conseguiu lançar um modelo mais capaz que o GPT-4.
Thomas Wolf, cofundador e diretor de ciência da Hugging Face, empresa de IA de código aberto, diz que, embora seja possível que a OpenAI use o Stargate para continuar construindo modelos gigantescos, a maioria das empresas de IA agora percebe que “há frutos mais fáceis de colher” nos modelos de raciocínio. “Há muitas melhorias que podemos alcançar com esses modelos sem precisar treinar o GPT-5,” disse ele.
Wolf previu que o foco da indústria no próximo ano estará nos modelos de raciocínio e na abordagem “chain of thought”. O trabalho da DeepSeek com o modelo R1 também mostrou que modelos poderosos de raciocínio não precisam ser enormes e podem ser executados em data centers menores e mais baratos.
Um relatório da empresa financeira TD Cowen alegou que a Microsoft, parceira da OpenAI, cancelou alguns contratos de locação de capacidade em data centers nos EUA—o que alimentou especulações de que a indústria está repensando sua abordagem para construir modelos de IA.
Um porta-voz da Microsoft afirmou que a empresa está “bem posicionada para atender à demanda atual e crescente dos clientes”, destacando que no ano passado expandiu mais sua infraestrutura de data centers do que em qualquer outro ano de sua história.
“Embora possamos ajustar estrategicamente nossa infraestrutura em algumas áreas, continuaremos crescendo fortemente em todas as regiões,” disse o porta-voz. Ele também reiterou os planos da Microsoft de investir US$ 80 bilhões em infraestrutura de data centers neste ano fiscal.
Um modelo que imita o cérebro
A Anthropic, rival da OpenAI e cujo cofundador Dario Amodei foi um dos autores do primeiro artigo sobre leis de escalonamento de GPTs, declarou que ainda não está pronta para desistir dos modelos estilo GPT.
“Os dados sintéticos continuam altamente promissores,” disse a empresa em resposta a perguntas da Fortune sobre os limites da escalabilidade dos GPTs. “Mesmo um olhar sobre os avanços recentes da IA mostra que as alegações de ‘colapso do modelo’ são muito exageradas.”
A empresa acrescentou: “Isso não quer dizer que seja um problema simples: qualidade e quantidade de dados apresentam desafios reais que precisam ser resolvidos. Mas a Anthropic vê isso como um problema solucionável, e não como uma limitação fundamental.”
Algumas pessoas comparam as respostas rápidas e ágeis que os modelos GPT fornecem ao que o psicólogo Daniel Kahneman chamou de Sistema 1 no pensamento humano. O Sistema 1 é um pensamento rápido e intuitivo, no qual uma pessoa simplesmente produz uma resposta ou uma ação, muitas vezes sem sequer estar ciente de que está pensando. Quando alguém realmente precisa refletir sobre um problema antes de responder, utiliza um caminho cognitivo diferente, que Kahneman chamou de Sistema 2.
O Sistema 2 é um pensamento muito mais lento e deliberado, onde a pessoa percebe que seu cérebro está buscando a melhor maneira de responder. Esse processo é muito mais semelhante ao raciocínio em cadeia (chain-of-thought) e ao cálculo computacional em tempo de teste que os chamados modelos de raciocínio utilizam.
O desafio para o que Sam Altman afirma que será o GPT-5 da OpenAI — um modelo que combinará a capacidade de responder rapidamente a uma ampla gama de tarefas, como o GPT-4.5, com o raciocínio mais longo e encadeado do modelo o3—será descobrir como integrar essas duas abordagens, Sistema 1 e Sistema 2, dentro do mesmo modelo, permitindo que ele determine corretamente qual sistema usar em cada situação.
Recentemente, a Anthropic lançou seu modelo Claude 3.7 Sonnet, que é o primeiro modelo de IA a conseguir essa abordagem híbrida, sendo capaz de decidir se pode dar uma resposta instantânea ou se precisa usar raciocínio encadeado e levar mais tempo para fornecer uma resposta. Além disso, a Anthropic permite que os usuários definam um orçamento para determinar quanto tempo computacional querem que o Claude 3.7 use ao gerar respostas. Mais tempo computacional tende a resultar em respostas melhores para questões de raciocínio, mas também aumenta os custos.
A capacidade do GPT-5 de igualar o Claude 3.7 nessa combinação fluida dos “pensamentos” do Sistema 1 e Sistema 2 será essencial. Isso porque os modelos de raciocínio têm um desempenho impressionantemente melhor em algumas tarefas, especialmente em problemas matemáticos complexos e programação, do que o GPT-4. Eles também são melhores em quebra-cabeças lógicos. No entanto, não são melhores em tudo. Eles não escrevem significativamente melhor do que o GPT-4, nem são muito superiores em resumo de textos ou respostas a perguntas.
Muitos entusiastas da IA esperam que o GPT-5 nos aproxime da AGI — um sistema capaz de realizar a maior parte do trabalho cognitivo humano de maneira econômica. AGI tem sido o Santo Graal da IA desde a criação do campo, e é o objetivo explícito da OpenAI. A empresa define AGI como um sistema de IA único capaz de realizar a maior parte do trabalho cognitivo economicamente valioso que os humanos desempenham atualmente.
Sam Altman tem sugerido cada vez mais que a AGI está próxima. Em seu blog pessoal, no início de janeiro, o CEO da OpenAI escreveu: ”Agora estamos confiantes de que sabemos como construir AGI, conforme a entendemos tradicionalmente.”
Em outro post de 9 de fevereiro, Altman afirmou: ”Sistemas que começam a apontar para a AGI estão surgindo.”
Na mesma época, em uma entrevista no Japão, Altman sugeriu que o GPT-5 ou GPT-6 atingiria um nível tão alto de inteligência bruta que os usuários deixariam de pedir melhorias de capacidade e passariam a focar mais na experiência do usuário e na integração com outras aplicações. Embora Altman tenha sido cuidadoso ao não dizer isso explicitamente, suas declarações deram a entender que o GPT-5 ou talvez o GPT-6 poderiam ser considerados AGI.
No entanto, muitos especialistas duvidam que o GPT-5 consiga superar desafios fundamentais que afetam todos os modelos de linguagem. Mesmo os modelos de raciocínio ainda não conseguem diferenciar de forma confiável fatos de ficção. Eles ainda sofrem de alucinações e cometem erros, até mesmo em perguntas matemáticas e tarefas de raciocínio não verbal, erros que um ser humano inteligente não cometeria.
Além disso, esses modelos não conseguem jogar xadrez de maneira confiável — algo que softwares convencionais e determinísticos fazem há cinco décadas. O especialista Gary Marcus critica esse ponto, dizendo: ”Essa é uma tarefa fácil, a exigência mínima é ‘não fazer jogadas ilegais’. É absurdo chamar de Inteligência Artificial Geral um sistema que não consegue entender as regras do xadrez, mesmo depois de ter sido treinado com milhões de explicações explícitas sobre essas regras.”
Marcus argumenta que o que as empresas de IA chamam de raciocínio na verdade não passa de um reconhecimento ingênuo de padrões. Segundo ele: ”Isso não é o raciocínio abstrato que os lógicos estudam há séculos.”
Por isso, Marcus acredita que a IA precisará abandonar a arquitetura atual baseada em Transformers, que é usada por todos os modelos generativos modernos, incluindo o GPT-5.
Ele não está sozinho nessa opinião. O cientista-chefe da Meta, Yann LeCun, um pioneiro da IA que já debateu com Marcus sobre o valor das redes neurais, também afirma que os Transformers e os modelos no estilo GPT nunca serão capazes de alcançar a AGI—ou seja, uma inteligência artificial com habilidades cognitivas comparáveis às dos humanos.
Embora a Meta tenha lançado alguns dos modelos abertos mais avançados no estilo GPT, LeCun argumenta que esses modelos não possuem capacidades essenciais para se tornarem AGI, pois:
- Não entendem o mundo físico
- Não conseguem lembrar e recuperar informações de forma confiável
- Não possuem memória persistente
- Têm habilidades limitadas de planejamento e raciocínio
Independentemente do que o GPT-5 seja, LeCun tem certeza de que ele não será AGI.
c.2024 Fortune Media IP Limited
Distribuído por The New York Times Licensing Group
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.
