A grande notícia da semana passada em inteligência artificial (IA) foi a ascensão do Gemini, o novo algoritmo do Google, nos rankings de performance de modelos de linguagem de grande porte (LLMs em inglês). Trata-se da primeira grande notícia positiva do Google em LLMs nos últimos sete anos.
Desde que pesquisadores da empresa inventaram os Transformers (o algoritmo que tem servido de base para os avanços recentes das LLMs) em 2017, o Google tem ficado para trás na corrida tecnológica mais importante da história.
Leia também
Nos últimos dois anos, a gigante do Vale do Silício viu sua rival Microsoft liderar a corrida pelas IAs mais avançadas, após a empresa fundada por Bill Gates investir pesadamente na OpenAI e incorporar rapidamente a tecnologia nas suas diferentes ferramentas e softwares.
Nas últimas semanas, entretanto, começaram a aparecer sinais de que o jogo pode estar virando e a Google estaria retomando a sua posição como propulsora das maiores inovações em algoritmos de IA.
Existem várias formas de mensurar a qualidade de algoritmos de linguagem. Até pouco tempo, o formato mais comum era por meio do uso de benchmarks de acertos em testes, principalmente no Massive Multitask Language Understanding (MMLU), que mensura a capacidade de compreensão e raciocínio dos algoritmos em diferentes áreas como história, ciência e matemática.
Os rankings das LLMs se tornaram mais emocionantes recentemente com a utilização do sistema Elo, um formato popularizado no xadrez em que são quantificados os resultados de competições diretas entre os participantes. No caso do ranking das LLMs, cada uma delas compete (às cegas) para fornecer a melhor resposta a um prompt, e um avaliador humano decide o vencedor.
No ranking Elo do site HuggingFace, já foram realizados mais de 200 mil embates diretos entre as LLMs e o atual líder da competição é o GPT-4 (Elo rating: 1253), porém agora já seguido de perto pelo Gemini Pro do Google (1224). O melhor algoritmo de código aberto (open source) atualmente é o Mixtral 8x7B (1118).
A expectativa da comunidade de IA é que ainda neste ano seja desenvolvido um algoritmo open source que fique à frente das Big Techs no ranking Elo. Não se trata de um sonho impossível, já que o número de pesquisadores de IA ao redor do mundo tem aumentado a cada dia.
Analisar e quantificar as experiências humanas é o que alimenta o aprendizado dos algoritmos de linguagem de grande porte. Agora os próprios modelos estão competindo entre si e sendo ranqueados. Para quem trabalha com inteligência artificial, essa é a nossa Copa do Mundo.
