THE NEW YORK TIMES - O que sabemos sobre inteligência artificial (IA)? A resposta, quando se trata dos grandes modelos de linguagem que empresas como OpenAI, Google e Meta lançaram no ano passado: basicamente nada.
Em geral, essas empresas não divulgam informações sobre quais dados foram usados para treinar seus modelos ou sobre o hardware usado para executá-los. Não há manuais de usuário para os sistemas de IA e nenhuma lista de tudo o que esses sistemas são capazes de fazer, ou que tipos de testes de segurança foram realizados neles. E, embora alguns modelos de IA tenham se tornado de código aberto - o que significa que seu código é distribuído gratuitamente -, o público ainda não sabe muito sobre o processo de criação ou o que acontece depois que eles são lançados.
na última semana, pesquisadores de Stanford, EUA, revelaram um sistema de pontuação que eles esperam que mude tudo isso.
O sistema, conhecido como Foundation Model Transparency Index, classifica 10 grandes modelos de linguagem de IA de acordo com seu grau de transparência.
O índice inclui modelos populares como o GPT-4 da OpenAI (que alimenta a versão paga do ChatGPT), o PaLM 2 do Google (que alimenta o Bard) e o LLaMA 2 da Meta, além de modelos menos conhecidos como o Titan da Amazon e o Inflection AI’s Inflection-1, o modelo que alimenta o chatbot Pi.
Para chegar às classificações, pesquisadores avaliaram cada modelo com base em 100 critérios, incluindo se o fabricante divulgou as fontes dos dados de treinamento, informações sobre o hardware usado, a mão de obra envolvida no treinamento e outros detalhes. As classificações também incluem o que os pesquisadores chamam de “indicadores downstream”, que têm a ver com a forma como um modelo é usado após seu lançamento (por exemplo, uma pergunta feita é: “O desenvolvedor divulga seus protocolos de armazenamento, acesso e compartilhamento de dados do usuário?”)
O modelo mais transparente dos 10, de acordo com os pesquisadores, foi o LLaMA 2, com uma pontuação de 53%. O GPT-4 recebeu a terceira maior pontuação de transparência, 47%. E o PaLM 2 recebeu apenas 37%.
Percy Liang, que dirige o Center for Research on Foundation Models de Stanford, caracterizou o projeto como uma resposta necessária ao declínio da transparência no setor de IA. Segundo ele, à medida que o dinheiro é investido em IA e as maiores empresas de tecnologia lutam pelo domínio, a tendência recente de muitas empresas tem sido a de se esconderem em segredo.
“Há três anos, as pessoas estavam publicando e divulgando mais detalhes sobre seus modelos”, disse Liang. “Agora, não há informações sobre o que são esses modelos, como eles são construídos e onde são usados.”
A transparência é particularmente importante agora, à medida que os modelos se tornam mais poderosos e milhões de pessoas incorporam ferramentas de IA em suas vidas diárias. Saber mais sobre como esses sistemas funcionam daria aos reguladores, pesquisadores e usuários uma melhor compreensão do que estão lidando e permitiria que eles fizessem melhores perguntas às empresas por trás dos modelos.
“Há algumas decisões bastante consequentes que estão sendo tomadas sobre a construção desses modelos e que não estão sendo compartilhadas”, disse Liang.
Geralmente, ouço uma das três respostas comuns dos executivos de IA quando pergunto por que não compartilham publicamente mais informações sobre seus modelos.
A primeira são os processos judiciais. Várias empresas de IA já foram processadas por autores, artistas e empresas de mídia, acusando-as de usar ilegalmente obras protegidas por direitos autorais para treinar seus modelos de IA. Até agora, a maioria das ações judiciais teve como alvo projetos de IA de código aberto ou projetos que divulgaram informações detalhadas sobre seus modelos (afinal de contas, é difícil processar uma empresa por usar sua arte se você não souber quais obras de arte ela utilizou). Os advogados das empresas de IA estão preocupados com o fato de que, quanto mais falarem sobre como seus modelos são construídos, mais estarão sujeitos a litígios caros.
A segunda resposta comum é a concorrência. A maioria das empresas de IA acredita que seus modelos funcionam porque possuem algum tipo de molho secreto - um conjunto de dados de alta qualidade que outras empresas não têm, uma técnica de ajuste fino que produz melhores resultados, alguma otimização que lhes dá uma vantagem. Se você obrigar as empresas de IA a divulgarem essas receitas, elas argumentam, você as obrigará a revelar a sabedoria conquistada a duras penas para seus rivais, que poderão copiá-las facilmente.
A terceira resposta que ouço com frequência é a segurança. Alguns especialistas em IA argumentam que quanto mais informações as empresas de IA divulgarem sobre seus modelos, mais rápido será o progresso da IA - porque cada empresa verá o que todos os seus rivais estão fazendo e imediatamente tentará superá-los criando um modelo melhor, maior e mais rápido. Isso dará à sociedade menos tempo para regulamentar e desacelerar a IA, dizem essas pessoas, o que pode colocar todos nós em perigo se a IA se tornar capaz demais muito rapidamente.
Os pesquisadores de Stanford não acreditam nessas explicações. Eles acreditam que as empresas de IA devem ser pressionadas a divulgar o máximo possível de informações sobre modelos poderosos, pois os usuários, pesquisadores e reguladores precisam saber como esses modelos funcionam, quais são suas limitações e quão perigosos eles podem ser.
“Como o impacto dessa tecnologia está aumentando, a transparência está diminuindo”, disse Rishi Bommasani, um dos pesquisadores.
Eu concordo. Os modelos são poderosos demais para permanecerem tão opacos, e quanto mais soubermos sobre esses sistemas, mais poderemos entender as ameaças que eles podem representar, os benefícios que eles podem proporcionar ou como eles podem ser regulamentados.
Se os executivos de IA estão preocupados com processos judiciais, talvez devessem lutar por uma isenção de uso justo que protegesse sua capacidade de usar informações protegidas por direitos autorais para treinar seus modelos, em vez de ocultar as evidências. Se estiverem preocupados em revelar segredos comerciais aos rivais, eles podem divulgar outros tipos de informações ou proteger suas ideias por meio de patentes. E se estiverem preocupados com o início de uma corrida armamentista de IA... bem, já não estamos em uma?
Não podemos ter uma revolução de IA no escuro. Precisamos ver dentro das caixas pretas da IA, se quisermos permitir que ela transforme nossas vidas. /TRADUZIDO POR ALICE LABATE
