O mundo da inteligência artificial (IA) está entusiasmado com o lançamento do novo modelo Llama 3.1, anunciado nesta terça, 23, pela Meta. O que chama a atenção é que esse é o maior modelo Llama até hoje, com 405 bilhões de parâmetros - os parâmetros são as variáveis ajustáveis em uma rede neural e dão uma ideia aproximada do tamanho de um modelo de IA. De acordo com os números de testes de desempenho, que convenientemente vazaram no Reddit um dia antes do lançamento oficial, o Llama 3.1 excede os recursos do modelo mais recentes da OpenAI, o GPT-4o, em alguns pontos percentuais, incluindo alguns benchmarks criados para testar o raciocínio.
Além disso, o Llama 3.1 é um “modelo aberto”, o que significa que qualquer pessoa pode criar seus próprios aplicativos com base nele sem pagar e até mesmo modificar o modelo da maneira que desejar. Mas os modelos que a Meta lançou anteriormente eram menores e menos capazes do que qualquer um dos modelos proprietários, como o GPT-4, da OpenAI, o Claude 3, da Anthropic, ou os modelos Gemini Ultra ou 1.5 Pro, do Google. O fato de que o novo Llama 3.1 da Meta pode ter eliminado a diferença em relação ao GPT-4o deixou muita gente animada com a possibilidade de que o Llama 3.1 405B seja o modelo que finalmente permitirá que muitas empresas realmente desbloqueiem o retorno sobre o investimento da IA generativa.
Leia Também:
Anton McGonnell, chefe de produtos de software da SambaNova Systems, que desenvolve hardware e software de IA para grandes empresas, disse em um comunicado que o Llama 3.1 405B pode ser um divisor de águas porque permitirá duas coisas: uma é que as empresas podem usar o modelo de parâmetro 405B para criar conjuntos de dados sintéticos que podem ser usados para treinar ou ajustar pequenos modelos abertos para aprimorá-los para aplicações específicas. Esse processo de “destilação” já era possível antes, mas muitas vezes havia preocupações éticas sobre como os dados usados para a “destilação” eram obtidos (com dados sendo extraídos da web sem consentimento ou derivados do uso de prestadores de serviços humanos mal remunerados).
McGonnell também aplaudiu a decisão da Meta de lançar o Llama 3.1 405B como parte de uma família de modelos Llama de diferentes tamanhos (há também modelos atualizados de 70 bilhões e 8 bilhões de parâmetros) e de lançar uma “pacote Llama”. Esse é um conjunto de software relacionado, desenvolvido sobre e em torno dos próprios modelos de IA. O pacote de IA da Meta inclui software de proteção para evitar que os modelos de IA gerem conteúdo nocivo ou perigoso e software de segurança para tentar evitar ataques de injeção imediata contra os modelos Llama. A família de modelos e o pacote de IA, disse McGonnell, criam a possibilidade de encadear modelos abertos de uma forma que seria especialmente econômica - usando um processo no qual partes da consulta de um usuário ou de um aplicativo são tratadas por modelos pequenos e ajustados, e somente os aspectos mais difíceis que esses modelos não conseguem tratar são transferidos para o modelo de 405 bilhões de parâmetros em escala real.
Mas, à parte o entusiasmo de McGonnell, há um problema - na verdade, vários deles. O modelo é tão grande que não pode ser facilmente hospedado em uma única GPU (chip especializado em IA) - a versão de 70 bilhões de parâmetros do Llama 3 da Meta pode ser executada em duas GPUs Nvidia de última geração. Isso significa que as empresas podem ter que pagar caro para executar o modelo e precisarão de muitos conhecimentos técnicos sobre como dividir uma carga de trabalho de IA nessas GPUs. Para superar esses dois problemas, a Meta está fazendo parcerias com várias empresas, como a Databricks, empresa de serviços de IA e análise de dados, e com os provedores de serviços de nuvem AWS, Microsoft Azure, Google Cloud, Nvidia Foundry e outros, para hospedar o modelo e oferecer ferramentas e serviços relacionados a ele. Ela também fez uma parceria com a Groq, uma empresa de hardware que constrói um chip de computador alternativo às GPUs da Nvidia, projetado especificamente para executar cargas de trabalho.
Esse arranjo começa a fazer com que o acesso ao Llama 3.1 405B se pareça muito mais com o acesso a um modelo proprietário, que é o que o OpenAI, a Anthropic e o Google oferecem. Ainda não está claro como os custos de hospedagem e acesso ao seu próprio modelo Llama 3.1 por meio de um dos parceiros da Meta serão comparados com a simples construção sobre o GPT-4o da OpenAI ou o Claude Opus. Anteriormente, alguns desenvolvedores se queixaram de que hospedar sua própria versão do modelo de 70 bilhões de parâmetros da Llama 3 às vezes era mais caro do que simplesmente pagar à OpenAI por token para acessar o modelo GPT-4, que é mais capaz.
Também não está claro ainda o quanto os desenvolvedores poderão mexer nos parâmetros do modelo Llama 3.1. Se esses parceiros limitarem o quanto os desenvolvedores podem ajustar os pesos do modelo, isso poderá anular algumas das vantagens de usar o modelo aberto. Também ainda não está claro exatamente quais restrições de licenciamento comercial a Meta impôs ao uso do Llama 3.1 405B.
No passado, as restrições que a Meta impôs em relação ao licenciamento de seus modelos Llama levaram os puristas do software de código aberto a reclamar que a Meta distorceu o significado de código aberto de forma irreconhecível e que esses modelos não deveriam ser chamados de “software de código aberto”. Daí o uso crescente do termo “modelo aberto” em oposição a “modelo de código aberto”.
Como acontece com todos os modelos abertos, há também algumas preocupações reais com relação à segurança da IA. A Meta não revelou os resultados de testes de segurança que tenha feito em seu próprio modelo. Modelos mais capazes geralmente são mais perigosos - um agente mal-intencionado poderia usá-los mais facilmente para sugerir receitas de armas biológicas ou químicas, desenvolver códigos de software mal-intencionados ou executar campanhas de desinformação altamente automatizadas, esquemas de phishing ou fraudes. E, como acontece com todos os modelos abertos, é fácil para um desenvolvedor de IA sofisticado remover quaisquer barreiras que o Meta tenha projetado no modelo de linha de base.
Por fim, por mais capaz que o Llama 3.1 405B possa ser, ele provavelmente será substituído em breve por modelos proprietários ainda mais capazes. O Google está trabalhando no Projeto Astra, um modelo de IA que será mais “agêntico” - capaz de realizar ações, não apenas gerar texto ou imagens. Na conferência Brainstorm Tech da Fortune, o cientista-chefe de pesquisa do Google, Jeff Dean, me disse que o Google provavelmente começará a implementar esse modelo para alguns usuários de teste em breve. Sabe-se que a OpenAI está treinando o GPT-5, que certamente terá mais capacidade do que o GPT-4o e também poderá ter propriedades agênticas. A Anthropic, sem dúvida, está treinando um modelo que vai além do Claude 3 Opus, seu modelo mais poderoso, e também está trabalhando em um agente de IA.
Tudo isso apenas ressalta o quão competitivo se tornou o “modelo básico” de IA - modelos sobre os quais muitos tipos diferentes de aplicativos de IA podem ser desenvolvidos - e como será difícil para qualquer startup de IA que trabalhe com esses modelos sobreviver como entidade independente. Isso pode não ser um bom presságio para os investidores das badaladas startups francesas Mistral e H, ou de outras empresas independentes de modelos de fundação, como a Cohere, ou mesmo de empresas de modelos de IA um pouco mais especializadas, como a Character AI e a Essential AI. É possível que apenas os maiores participantes do setor de tecnologia, ou aqueles intimamente associados a eles, consigam continuar ampliando os limites do que esses modelos podem fazer.
A boa notícia é que, apesar das ressalvas que listei acima, essa corrida de modelos de fundação está, na verdade, reduzindo o custo de implementação de modelos de IA. Embora os gastos gerais com IA continuem aumentando à medida que as empresas começam a implantar modelos de IA de forma mais ampla em suas organizações, em uma base por saída, “o custo da inteligência” está caindo drasticamente. Isso deve significar que mais empresas começarão a ver um retorno sobre o investimento da IA generativa, acelerando o início dessa nova era da IA.
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.
c.2024 Fortune Media IP Limited
Distribuído por The New York Times Licensing Group