No ano letivo que terminou recentemente, uma classe de alunos se destacou como um aparente quebra-cabeça. Eles são esforçados, aprimorados e notavelmente articulados. Mas, curiosamente, esses alunos - chatbots artificialmente inteligentes - muitas vezes têm dificuldades em matemática.
Chatbots como o ChatGPT da Open AI podem escrever poesia, resumir livros e responder a perguntas, geralmente com fluência de nível humano. Esses sistemas podem fazer cálculos matemáticos com base no que aprenderam, mas os resultados podem variar e estar errados. Eles são ajustados para determinar probabilidades, não para fazer cálculos baseados em regras. Probabilidade não é precisão e a linguagem é mais flexível e tolerante do que a matemática.
“Os chatbots de IA têm dificuldade com a matemática porque nunca foram projetados para isso”, disse Kristian Hammond, professor de ciência da computação e pesquisador de inteligência artificial da Northwestern University.
Ao que parece, os cientistas da computação mais inteligentes do mundo criaram uma inteligência artificial (IA) que é mais um especialista em artes liberais do que um gênio dos números.
Isso, à primeira vista, é uma ruptura radical com o passado da computação. Desde o surgimento dos primeiros computadores na década de 1940, uma boa definição resumida de computação tem sido “matemática com esteroides”. Os computadores têm sido máquinas de calcular incansáveis, rápidas e precisas. Há muito tempo, os computadores são realmente bons em processar números, superando em muito o desempenho humano.
Tradicionalmente, os computadores eram programados para seguir regras passo a passo e recuperar informações em bancos de dados estruturados. Eles eram poderosos, mas frágeis. Por isso, as tentativas anteriores de IA esbarraram em um obstáculo.
No entanto, há mais de uma década, uma abordagem diferente surgiu e começou a proporcionar ganhos impressionantes. A tecnologia subjacente, chamada de rede neural, é modelada livremente no cérebro humano.
Esse tipo de IA não é programado com regras rígidas, mas aprende analisando grandes quantidades de dados. Ela gera linguagem, com base em todas as informações que absorveu, prevendo qual palavra ou frase tem maior probabilidade de vir a seguir, da mesma forma que os humanos fazem.
“Essa tecnologia faz coisas brilhantes, mas não faz tudo”, disse o Dr. Hammond. “Todo mundo quer que a resposta para a IA seja uma coisa só. Isso é uma tolice.”
Às vezes, os chatbots de IA têm tropeçado em problemas simples de aritmética e matemática que exigem várias etapas para chegar a uma solução, algo recentemente documentado por alguns revisores de tecnologia. A proficiência da IA está melhorando, mas continua sendo uma deficiência.
Em um simpósio recente, Kristen DiCerbo, diretora de aprendizagem da Khan Academy, uma organização educacional sem fins lucrativos que está experimentando um tutor de chatbot de IA e um assistente de ensino, apresentou o tema da precisão da matemática. “É um problema, como muitos de vocês sabem”, disse a Dra. DiCerbo aos educadores.
Há alguns meses, a Khan Academy fez uma mudança significativa em seu tutor com inteligência artificial, chamado Khanmigo. Ele envia muitos problemas numéricos para um programa de calculadora em vez de solicitar que a IA resolva a matemática. Enquanto aguardam a conclusão do programa da calculadora, os alunos veem as palavras “doing math” em suas telas e um ícone do Khanmigo balançando a cabeça.
“Na verdade, estamos usando ferramentas que foram criadas para fazer matemática”, disse o Dr. DiCerbo, que continua otimista de que os chatbots de conversação desempenharão um papel importante na educação.
Há mais de um ano, o ChatGPT tem usado uma solução alternativa semelhante para alguns problemas de matemática. Para tarefas como divisão e multiplicação de números grandes, o chatbot solicita a ajuda de um programa de calculadora.
A matemática é uma “importante área de pesquisa em andamento”, disse a OpenAI em um comunicado, e um campo em que seus cientistas têm feito progressos constantes. Sua nova versão do GPT alcançou quase 64% de precisão em um banco de dados público de milhares de problemas que exigem percepção visual e raciocínio matemático, informou a empresa. Isso representa um aumento em relação aos 58% da versão anterior.
Essa tecnologia faz coisas brilhantes, mas não faz tudo. Todo mundo quer que a resposta para a IA seja uma coisa só. Isso é uma tolice”
Kristian Hammond, professor de ciência da computação e pesquisador de inteligência artificial da Northwestern University
Os chatbots de IA geralmente se destacam quando consomem grandes quantidades de dados de treinamento relevantes - livros didáticos, exercícios e testes padronizados. O efeito é que os chatbots já viram e analisaram perguntas muito semelhantes, se não as mesmas, antes. Segundo a empresa, uma versão recente da tecnologia subjacente ao ChatGPT obteve uma pontuação no 89º percentil no teste SAT de matemática para alunos do ensino médio.
O desempenho irregular da tecnologia em matemática contribui para um debate acalorado na comunidade de inteligência artificial sobre o melhor caminho a seguir nesse campo. Em linhas gerais, há dois campos.
De um lado, estão aqueles que acreditam que as redes neurais avançadas, conhecidas como modelos de linguagem ampla, que alimentam os chatbots de IA são quase um caminho singular para o progresso constante e, por fim, para a inteligência artificial geral, ou AGI (na sigla em inglês), um computador que pode fazer tudo o que o cérebro humano pode fazer. Essa é a visão dominante em grande parte do Vale do Silício.
Mas há céticos que questionam se a adição de mais dados e poder de computação aos grandes modelos de linguagem é suficiente. Entre eles, destaca-se Yann LeCun, cientista-chefe de IA da Meta.
Segundo o Dr. LeCun, os grandes modelos de linguagem têm pouca compreensão da lógica e carecem de raciocínio de senso comum. O que é necessário, ele insiste, é uma abordagem mais ampla, que ele chama de “modelagem do mundo”, ou sistemas que podem aprender como o mundo funciona da mesma forma que os humanos. E isso pode levar uma década ou mais para ser alcançado.
Leia também
Enquanto isso, no entanto, a Meta está incorporando um software de assistente inteligente com tecnologia de IA em seus serviços de rede social, incluindo Facebook, Instagram e WhatsApp, com base em seu modelo de linguagem ampla, o LLaMA. Os modelos atuais podem ser falhos, mas ainda fazem muito.
David Ferrucci liderou a equipe que construiu o famoso computador Watson da IBM, que venceu os melhores jogadores humanos do “Jeopardy!” em 2011. Como a maioria dos cientistas da computação, o Dr. Ferrucci considera a mais recente tecnologia de IA inegavelmente impressionante, mas principalmente por suas habilidades linguísticas, não por sua precisão. Sua startup, a Elemental Cognition, desenvolve software para melhorar a tomada de decisões comerciais em áreas como finanças, viagens e descoberta de medicamentos. Ela usa grandes modelos de linguagem como um ingrediente, mas também mais software baseado em regras.
Esse software estruturado, disse o Dr. Ferrucci, é a infraestrutura de computação que atualmente executa grande parte dos sistemas essenciais do mundo, como bancos, cadeias de suprimentos e controle de tráfego aéreo. “Para muitas coisas que realmente importam, é necessária uma precisão dolorosa”, disse ele.
Kirk Schneider, professor de matemática do ensino médio em Nova York, diz que considera inevitável a incursão dos chatbots de IA na educação. Os administradores escolares podem tentar bani-los, mas os alunos vão usá-los, disse ele.
Mas Schneider tem algumas dúvidas. “Em geral, eles são bons, mas geralmente não são bons o suficiente em matemática. É preciso ser preciso”, disse ele. “Tem que estar certo.”
No entanto, esses deslizes ocasionais acabaram se tornando uma oportunidade de ensino. Schneider costuma dividir suas aulas em pequenos grupos de alunos, e as respostas do chatbot podem ser um ponto focal de discussão. Compare sua resposta com a do bot. Quem está certo? Como cada um de vocês chegou à sua solução?
“Isso os ensina a olhar para as coisas com um olhar crítico e aguça o pensamento crítico”, disse ele. “É semelhante a perguntar a outro ser humano - ele pode estar certo e pode estar errado.”
Parece ser uma lição de vida para seus alunos, uma lição que vale a pena lembrar muito depois de terem esquecido o teorema de Pitágoras: Não acredite em tudo o que um programa de IA diz a você. Não confie demais nele.
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.
