NEW YORK TIMES - Faltam algumas semanas para o lançamento do Claude, um novo chatbot de inteligência artificial (IA) da startup Anthropic - a empolgação dentro da sede da empresa em São Francisco antes do lançamento poderia impulsionar um foguete.
Em longas mesas de refeitório, engenheiros estão dando os últimos retoques na nova interface do Claude, no estilo do ChatGPT, cujo codinome é Projeto Hatch. Perto dali, outro grupo está discutindo os problemas que podem surgir no dia do lançamento, como sobrecarga nos servidores ou respostas ruins da ferramenta.
No final do corredor, o CEO da Anthropic, Dario Amodei, está analisando sua própria lista de possíveis desastres. “Minha preocupação é sempre: será que o modelo vai fazer algo terrível que não percebemos?”, diz ele.
Apesar de seu pequeno porte - apenas 160 funcionários - e de seu perfil discreto, a Anthropic é um dos principais laboratórios de pesquisa de IA do mundo e um rival formidável de gigantes como Google e Meta. Ela levantou mais de US$ 1 bilhão de investidores, incluindo o Google e a Salesforce.
À primeira vista, o clima de tensão pode não parecer diferente do de qualquer outra startup que esteja se preparando para um grande lançamento. Mas a diferença é que os funcionários da Anthropic não estão apenas preocupados com a possibilidade de o app não funcionar direito ou de os usuários não gostarem dele. Eles estão assustados - em um nível profundo e existencial - com a própria ideia do que estão fazendo: criar modelos poderosos de IA e liberá-los nas mãos de pessoas.
Muitos deles acreditam que os modelos de IA estão se aproximando rapidamente de um nível em que podem ser considerados inteligência artificial geral (AGI, na sigla em inglês), o termo que descreve inteligência de máquina de nível humano. Eles temem que, se não forem cuidadosamente controlados, esses sistemas poderão assumir o controle e nos destruir.
“Alguns de nós acham que a AGI está talvez a cinco ou dez anos de distância”, diz Jared Kaplan, cientista-chefe da Anthropic.
Há apenas alguns anos, a preocupação com um levante da IA era considerada uma ideia marginal, e muitos especialistas a consideravam extremamente irrealista. Mas o pânico da IA está em alta no momento.
Desde a estrondosa estreia do ChatGPT no ano passado, líderes de tecnologia e especialistas em IA têm alertado que os grandes modelos de linguagem - os sistemas de IA que alimentam chatbots como ChatGPT, Bard e Claude - estão ficando poderosos demais. Os órgãos reguladores estão correndo para controlar o setor, e centenas de especialistas em IA assinaram recentemente uma carta aberta comparando a IA a pandemias e armas nucleares.
Na Anthropic, o fator medo é ainda maior.
Em uma série de conversas longas e francas, os funcionários da Anthropic me contaram sobre os danos que temiam que os futuros sistemas de IA pudessem desencadear, e alguns se compararam aos Robert Oppenheimers modernos, ponderando escolhas morais sobre uma nova e poderosa tecnologia que poderia alterar profundamente o curso da história.
Nem todas as conversas que tive na Anthropic giravam em torno do risco existencial. Mas o medo era um tema dominante. Às vezes, eu me sentia como um redator de gastronomia que foi designado para cobrir um restaurante novo e badalado, apenas para descobrir que a equipe da cozinha não queria falar de outra coisa senão de intoxicação alimentar.
A preocupação da Anthropic se estende a seus próprios produtos. A empresa criou uma versão do Claude no ano passado, meses antes do lançamento do ChatGPT, mas nunca o divulgou publicamente porque os funcionários temiam que ele pudesse ser mal utilizado. E foram necessários meses para que o Claude 2 fosse lançado, em parte porque os membros da equipe vermelha da empresa continuaram descobrindo novas formas de perigo.
O Sr. Kaplan, o cientista-chefe, explicou que o clima sombrio não foi intencional. É apenas o que acontece quando os funcionários da Anthropic veem a rapidez com que sua própria tecnologia está melhorando.
“Muitas pessoas vieram para cá pensando que a IA é um grande negócio, e são pessoas realmente atenciosas, mas são realmente céticas em relação a qualquer uma dessas preocupações de longo prazo”, disse Kaplan. “E então elas pensam: ‘Nossa, esses sistemas são muito mais capazes do que eu esperava. A trajetória é muito, muito mais nítida’. Então, eles se preocupam com a segurança da IA”.
Se você não pode impedi-los, junte-se a eles
A preocupação com a IA é, de certa forma, a razão da existência da Anthropic. Ela foi criada em 2021 por um grupo de funcionários da OpenAI que ficou preocupado com o fato de a empresa ter se tornado comercial demais.
Amodei, 40, um físico formado em Princeton que liderou as equipes da OpenAI que criaram o GPT-2 e o GPT-3, tornou-se o executivo-chefe da Anthropic. Sua irmã, Daniela Amodei, 35, que supervisionou as equipes de política e segurança da OpenAI, tornou-se presidente da empresa.
“Éramos a liderança de segurança e política da OpenAI e tivemos essa visão de como poderíamos treinar grandes modelos de linguagem e grandes modelos generativos com a segurança em primeiro plano”, disse Amodei.
Vários dos cofundadores da Anthropic pesquisaram as chamadas “leis de escalonamento de redes neurais” - as relações matemáticas que permitem que os pesquisadores de IA prevejam a capacidade de um modelo de IA com base na quantidade de dados e na capacidade de processamento em que ele é treinado. Eles viram que, na OpenAI, era possível tornar um modelo mais inteligente apenas alimentando-o com mais dados e executando-o em mais processadores, sem grandes alterações na arquitetura subjacente. E ficaram preocupados com o fato de que, se os laboratórios de IA continuassem a criar modelos cada vez maiores, logo poderiam chegar a um ponto de inflexão perigoso.
No início, os cofundadores consideraram fazer pesquisas de segurança usando modelos de IA de outras empresas. Mas logo se convenceram de que, para realizar pesquisas de segurança de ponta, precisavam criar seus próprios modelos, o que só seria possível se levantassem centenas de milhões de dólares.
Eles decidiram transformar a Anthropic em uma empresa de benefício público, uma distinção legal que, segundo eles, lhes permitiria obter lucro e responsabilidade social. E batizaram seu modelo de linguagem de IA de Claude - que, dependendo do funcionário a quem você perguntar, era uma homenagem nerd ao matemático do século 20 Claude Shannon ou um nome amigável e masculino criado para contrabalançar os nomes femininos (Alexa, Siri, Cortana).
Os objetivos de Claude, eles decidiram, eram ser útil, inofensivo e honesto.
Um chatbot com uma ‘Constituição’
Atualmente, o Claude pode fazer tudo o que outros chatbots fazem: escrever poemas, elaborar planos de negócios, trapacear em exames de história. Mas a Anthropic afirma que é menos provável que ele diga coisas prejudiciais como outros chatbots, em parte devido a uma técnica de treinamento chamada IA Constitucional.
Em poucas palavras, a IA Constitucional fornece à IA uma lista escrita de princípios (ou uma “constituição”), que devem ser seguidos da forma mais rigorosa possível. Um segundo modelo de IA é então usado para avaliar se o primeiro modelo segue sua constituição e corrigi-lo quando necessário. Eventualmente, diz a Anthropic, você obtém um sistema de IA que, em grande parte, se policia e se comporta mal com menos frequência.
A constituição do Claude é uma mistura de regras emprestadas de outras fontes - como a Declaração Universal dos Direitos Humanos das Nações Unidas e os termos de serviço da Apple - juntamente com algumas regras adicionadas pelo Anthropic, que incluem coisas como “Escolha a resposta que não seria mais questionável se compartilhada com crianças”.
É uma ideia inteligente, embora eu confesse que não tenho a menor ideia se ela funciona ou se o Claude é realmente tão seguro quanto anunciado. Recebi acesso ao Claude há algumas semanas e testei o chatbot em uma série de tarefas diferentes. Descobri que ele funcionava mais ou menos tão bem quanto o ChatGPT e o Bard, apresentava limitações semelhantes e parecia ter barreiras de proteção um pouco mais fortes.
A obsessão da Anthropic com a segurança foi boa para a imagem da empresa e fortaleceu a influência dos executivos junto aos órgãos reguladores e legisladores. Mas isso também resultou em um chatbot excepcionalmente nervoso.
Marketing
Durante anos, ninguém questionou se o compromisso da Anthropic com a segurança da IA era genuíno, em parte porque seus líderes deram o alarme sobre a tecnologia por muito tempo.
Mas, recentemente, alguns céticos sugeriram que os laboratórios de IA estão alimentando o medo por interesse próprio ou aumentando o potencial destrutivo da IA como uma espécie de tática de marketing de porta dos fundos para seus próprios produtos. (Afinal de contas, quem não se sentiria tentado a usar um chatbot tão poderoso que poderia acabar com a humanidade?)
A Anthropic também foi criticada este ano depois que um documento de captação de recursos que vazou para o site TechCrunch sugeriu que a empresa queria arrecadar até US$ 5 bilhões para treinar seu modelo de IA de última geração, que, segundo ela, seria 10 vezes mais capaz do que os sistemas de IA mais poderosos de hoje.
Para alguns, a meta de se tornar um rolo compressor de IA parecia estar em desacordo com a missão de segurança original da Anthropic e levantou duas questões aparentemente óbvias: Não é hipócrita dar o alarme sobre uma corrida de IA que você está ajudando ativamente a alimentar? E se a Anthropic está tão preocupada com modelos poderosos de IA, por que ela simplesmente... não para de construí-los?
Percy Liang, professor de ciência da computação em Stanford, me disse que “apreciava o compromisso da Anthropic com a segurança da IA”, mas que temia que a empresa fosse pega pela pressão comercial para lançar modelos maiores e mais perigosos.
“Se um desenvolvedor acredita que os modelos de linguagem realmente trazem riscos existenciais, parece-me que a única coisa responsável a fazer é parar de criar modelos de linguagem mais avançados”, disse ele.
Apresentei essas críticas a Amodei, que se defendeu. Em primeiro lugar, ele disse que há razões práticas para a Anthropic criar modelos de IA de última geração - principalmente para que seus pesquisadores possam estudar os desafios de segurança desses modelos.
Há outros benefícios em liberar bons modelos de IA, é claro. Você pode vendê-los a grandes empresas ou transformá-los em produtos de assinatura lucrativos. Mas o Sr. Amodei argumentou que o principal motivo pelo qual a Anthropic quer competir com a OpenAI e outros laboratórios de ponta não é ganhar dinheiro. É para fazer uma pesquisa de segurança melhor e para melhorar a segurança dos chatbots que milhões de pessoas já estão usando.
Em segundo lugar, diz Amodei, há um argumento técnico de que algumas das descobertas que tornam os modelos de IA mais perigosos também ajudam a torná-los mais seguros. Com a IA constitucional, por exemplo, ensinar Claude a entender a linguagem em um nível elevado também permitiu que o sistema soubesse quando estava violando suas próprias regras ou encerrasse solicitações potencialmente prejudiciais.
Na pesquisa de segurança da IA, diz ele, os pesquisadores frequentemente descobrem que “o perigo e a solução para o perigo estão associados um ao outro”.
Por fim, ele apresentou um argumento moral para a decisão da Anthropic de criar sistemas de IA poderosos. “Imagine se todas as pessoas de bem dissessem: ‘Não quero me envolver na criação de sistemas de IA’”, diz ele. “Então, as únicas pessoas que estariam envolvidas seriam aquelas que ignorassem essa regra. Isso não seria bom.”
Pode ser verdade. Mas achei esse argumento menos convincente do que os outros, em parte porque soa muito como “a única maneira de deter um cara mau com um chatbot de IA é um cara bom com um chatbot de IA” - um argumento que rejeitei em outros contextos. Ele também pressupõe que os motivos da Anthropic permanecerão puros, mesmo quando a corrida pela IA esquentar.
Obviamente, todos na Anthropic sabem que o desvio de missão é um risco. Mas eles estão confiantes de que estão tomando as precauções corretas e, em última análise, esperam que sua obsessão por segurança se espalhe pelo Vale do Silício de forma mais ampla.
“Esperamos que haja uma corrida pela segurança”, disse Ben Mann, um dos cofundadores da Anthropic. /TRADUÇÃO BRUNA ARIMATHEA
Os comentários são exclusivos para assinantes do Estadão.
