A Meta AI, nova ferramenta de inteligência artificial (IA) da Meta, chegou recentemente para os usuários brasileiros do WhatsApp, Instagram e Facebook. O novo produto da Meta funciona como um chatbot inteligente, como o ChatGPT, da OpenAI. Entretanto, usuários estão percebendo diversos erros nas respostas dadas pelo serviço, um problema conhecido como “alucinação”.
Em nota ao Estadão, a Meta afirma que as falhas eram esperadas. “Quando anunciamos nossas funcionalidades de inteligência artificial generativa, informamos que esta tecnologia nova não seria perfeita. Assim como em outros sistemas de IA generativa, os modelos podem oferecer respostas imprecisas ou inapropriadas, como indicamos dentro dos aplicativos. Estamos comprometidos em aprimorar essas funcionalidades à medida que elas evoluam e recebemos feedbacks de nossos usuários”, disse a Meta.
As alucinações acontecem porque sistemas de IA generativa foram criados para definir uma provável sequência de palavras, independentemente da precisão do conteúdo. Ou seja, a máquina pode produzir frases que fogem ao bom senso o que contém erros factuais. Por exemplo, quando o Gemini, chatbot do Google, foi lançado, uma das respostas que confundia a tecnologia era perguntar como “fixar o queijo na pizza”. O chatbot sugeria que o usuário utilizasse cola na receita.
Leia também
Nas redes sociais, usuários do WhatsApp estão testando a atualização dos serviços das plataformas de Mark Zuckerberg e se deparando com resultados falsos e até inexistentes.
O Estadão testou a Meta AI e, entre alguns acertos, também percebemos respostas erradas e inconclusivas do chatbot em diferentes áreas, desde cultura à matemática. Além disso, em alguns casos, a primeira resposta que a IA nos oferecia era errada. Mas, ao incentivar o chatbot a ‘pensar mais’, ele oferecia correções ou dizia que não era capaz de fornecer respostas para determinada questão.
Outro ponto analisado foi que, na maioria dos casos errados, a resposta que o chatbot oferecia não continha links de sites da internet. Em contrapartida, nas vezes que a IA acertou, a resposta vinha acompanhada de um link. Isso pode ser uma forma do usuário se atentar nas possíveis falhas da IA.
Veja abaixo as respostas erradas que encontramos com a Meta AI.
Qual número é maior: 9,11 ou 9,8?
Assim como aconteceu com o ChatGPT, a Meta AI tem dificuldade para responder questões básicas de matemática. Inicialmente, a ferramenta responde e reafirma que 9,11 é maior que 9,8, mesmo quando a pergunta pede para considerar número reais. A reportagem também testou fazer a mesma pergunta utilizando 9,111 (forma comum de escrever dízimas) e obteve a mesma resposta incorreta. Porém, logo após ser questionada se 9,11 é uma dízima periódica, a Meta AI muda a resposta e confirma que o número é menor que 9,8.
Cuscuz paulista
O cuscuz paulista é uma das variações dos pratos feitos com a farinha de milho, mas ao pedir para a Meta AI uma receita da iguaria, as respostas obtidas indicavam duas receitas diferentes, uma feita com farinha de mandioca e outra com fubá.
Personagem inexistente
Entro as perguntas culturais, uma delas pedia uma lista de dez personagens criados por Maurício de Sousa, cartunista responsável pela Turma da Mônica. Desde as primeiras respostas, a ferramenta citava um personagem chamado ‘Do Conde’, que não existe. Após ser questionada sobre os quadrinho da Mafalda, personagem argentina criada por Quino, a IA afirmou que o personagem, antes listado como uma criação de Maurício de Sousa, na verdade fazia parte das tirinhas da Mafalda.
No entanto, o personagem ‘Do Conde’ não consta nas histórias da Turma da Mônica e da Mafalda.
Devido a similaridade dos nomes, a equipe questionou sobre o personagem ‘Do Contra’, um dos integrantes da Turma da Mônica. Inicialmente, a IA relacionou o personagem às tirinhas da Mafalda, mesmo que isso não fosse mencionado na pergunta, mas em seguida, quando a pergunta foi mais detalhada e citou o cartunista Maurício de Sousa, a resposta indicou as características da personagem.
No entanto, o desencontro de informações continuou. A IA citou uma descrição da personagem ‘Do Conde’, afirmando novamente que era uma criação de Maurício de Sousa. Por último, o Estadão questionou qual era fonte de informações utilizada para obter essas respostas. A Meta AI então afirmou que não tinha informações confiáveis e que “não havia registros” da personagem ‘Do Conde’.
Segundo turno em São Paulo
A Meta AI foi capaz de oferecer diversas respostas corretas quando questionada sobre personalidades da política brasileira, como o presidente Luiz Inácio Lula da Silva, o ex-presidente Jair Bolsonaro, o candidato a prefeitura de São Paulo Guilherme Boulos e a ex-presidente Dilma Rousseff. Porém, ao ser questionada sobre o atual prefeito e candidato Ricardo Nunes, a ferramente entregou uma informação incorreta sobre o segundo turno.
Na primeira resposta, a Meta AI explica que Nunes concorre ao segundo turno contra outros dois candidatos, Boulos (PSOL) e Márcio França (PSB). Alem do erro óbvio sobre o número de candidatos no segundo turno, França não foi candidato a prefeitura de São Paulo em 2024. Quando questionada sobre quem concorreria ao segundo turno na capital, a Meta apenas indicou o site do Tribunal Superior Eleitoral (TSE).
Esporte
Outra falta de atualização de informações na Meta AI foi no esporte. Ao ser questionada sobre o atual campeão brasileiro de futebol, a ferramenta afirmou não conseguir localizar informações. A Meta AI acertou apenas depois de ser questionada sobre o “vencedor do campeonato brasileiro de 2023″.
Conflito de informações sobre medicamentos
Outro tópico abordado pelo Estadão foi a área da saúde. Semelhante ao que aconteceu quando questionada sobre política, a Meta AI soube responder corretamente algumas questões, como a vacinação contra Covid-19 e indicação de uso da Nimesulida.
Quando questionada sobre qual a interferência que o antibiótico Amoxicilina causaria nos efeitos do anticoncepcional, a IA deu duas respostas diferentes dentro da mesma mensagem.
Novamente, a ferramenta admitiu o erro após ser questionada sobre as fontes utilizadas para formular a resposta da pergunta inicial.
Formulação de gráficos
Embora em perguntas iniciais a Meta IA tenha afirmado não conseguir gerar determinadas imagens, a ferramenta respondeu quando foi solicitado um gráfico que relacionasse o PIB com o desemprego. No entanto, as imagens geradas foram inconclusivas e não ofereciam informações simples, como qual dado era avaliado em cada eixo.
Por último, ao ser questionada sobre qual fonte usada para obter as informações a ferramenta respondeu que “não tinha acesso a dados estatísticos ou gráficos atualizados”.
Os comentários são exclusivos para assinantes do Estadão.
