Em nossa última coluna, falamos de forma bastante resumida sobre alguns dos principais avanços experimentados no campo da Inteligência Artificial ao longo de sua história de quase setenta anos. Talvez um dos conceitos mais importantes que serve como fio condutor deste campo é a importância absolutamente fundamental dos dados — mais que isso, podemos dizer que as técnicas de AI (Artificial Intelligence) subvertem o paradigma tradicional da computação. Sistemas “tradicionais” recebem dados de entrada, que são processados por um certo algoritmo que dita as regras a serem aplicadas ao problema, gerando uma resposta. Sistemas “inteligentes” recebem dados de entrada, sim, mas esses dados são comparados com resultados anteriores que foram apresentados ao algoritmo durante sua fase de treinamento — e o próprio sistema “cria” as regras que devem ser aplicadas às novas informações.
Nos últimos anos, negócios de todos os tipos e tamanhos começaram a identificar a necessidade de ter, em seus quadros, profissionais ligados à chamada Ciência de Dados (Data Science). Trata-se do campo de estudo que envolve o uso de técnicas estatísticas e computacionais para extrair valor dos dados, incluindo sua coleta, “limpeza” e análise. Modelos e previsões são construídos utilizando-se múltiplas tecnologias, e uma das mais importantes e revolucionárias surgiu em 2017, após a publicação de um artigo científico que hoje já figura entre os mais importantes da história da Inteligência Artificial.
Ao contrário do que os Beatles pregavam em sua canção de 1967, All You Need is Love (algo como “Tudo o que Você precisa é Amor”), cujo principal refrão é Love is all you need, pesquisadores da Google DeepMind estabeleceram que na verdade Attention is all you need (“Tudo que você precisa é Atenção”) — e com isso mudaram de forma definitiva os rumos da Ciência de Dados e Inteligência Artificial. Este foi o nome do artigo publicado na NIPS 2017 (Neural Information Processing Systems, uma das mais importantes conferências internacionais sobre sistemas de processamento de informações baseados em redes neurais) por oito pesquisadores liderados por Ashish Vaswani.
Vamos evitar, como de costume, entrar nos detalhes técnicos do que foi proposto no artigo, mas é importante mencionar ao menos de forma superficial o conceito que pode ser apontado como um dos principais responsáveis pela revolução que estamos presenciando (e que irá se intensificar ao longo dos próximos anos): os chamados transformers. Trata-se de mais um tipo de arquitetura para estruturação de redes neurais artificiais, cuja principal inovação é a utilização de mecanismos de “auto-atenção”. Esses mecanismos permitem que o modelo avalie a importância de diferentes elementos de entrada enquanto processa os dados, “lembrando” qual informação é mais relevante e como uma informação se relaciona com a outra. Sua principal área de aplicação é no processamento de linguagem natural: imagine um sistema que consiga avaliar corretamente, para cada frase, parágrafo, página ou livro que você apresente, quais as informações que precisam ser retidas (a “atenção”) e como essas informações se inter-relacionam.
Mais de Guy Perelmuter
Mas…por que parar em um livro? Por que não criar um modelo realmente robusto, para o qual sejam apresentadas bibliotecas inteiras? Este é o conceito por trás dos LLMs (Large Language Models, ou Grandes Modelos de Linguagem): modelos de machine learning especializados em processar linguagem natural. Esses modelos são treinados em conjuntos de dados muito grandes, aprendendo a executar tarefas simplesmente “lendo” e “entendendo” as explicações contidas no texto. Alguns destes modelos ganharam notoriedade, como o GPT (Generative Pre-training Transformer, ou Transformador de Pré-treinamento Generativo) e BERT (Bidirectional Encoder Representations from Transformers, ou Representações de Codificador Bidirecional de Transformers).
A Era dos Grandes Modelos de Linguagem — alguns deles treinados com dezenas de bilhões de parâmetros — é um ponto de inflexão não apenas para negócios, mas para a sociedade como um todo. Na próxima coluna, falaremos de suas aplicações práticas e consequências éticas e filosóficas. Até lá.