Batalha de IAs: Comparamos ChatGPT, Gemini e Claude para descobrir quem é melhor; veja teste

‘Estadão’ testou os chatbots em diversas perguntas de diferentes tipos para comparar o comportamento das respostas

PUBLICIDADE

Foto do author Bruna Arimathea

Quase dois anos após o lançamento do ChatGPT, o robô de conversação da OpenAI, ferramentas “falantes” de inteligência artificial (IA) se tornaram parte da vida das pessoas - e a possibilidade de conversar com um robô que sabe de tudo já não é mais ficção científica. Agora, com a chegada recente do Claude, da Anthropic, ao Brasil, três plataformas se sobressaem na hora de escolher com quem conversar: o próprio Claude, o ChatGPT e o Gemini, do Google.

PUBLICIDADE

Com propostas semelhantes, cada um dos chatbots tem particularidades que podem ser levadas em consideração pelo usuário e que podem ajudar a escolher o robô favorito - seja para trabalhos escolares, dicas de criatividade, redação de textos ou dúvidas existenciais.

O Gemini, por exemplo, está conectado ao buscador do Google, e pode ser a opção mais próxima de fornecer informações mais atualizadas (embora, no teste feito pela reportagem, o robô tenha tido dificuldade de responder sobre os Jogos Olímpicos). Com uma janela de contexto de 1 milhão de tokens, a plataforma é a que mais apresenta capacidade de leitura e armazenamento de informações.

O ChatGPT trocou recentemente o seu “cérebro” no chatbot, atualizando seu modelo de linguagem para uma versão com 180 mil tokens. Mais popular entre os recursos, a ferramenta está atualizada até outubro de 2023 e, assim como suas rivais, consegue interpretar documentos, textos e imagens.

Publicidade

Com propostas semelhantes, cada um dos chatbots tem particularidades que podem ser levadas em consideração pelo usuário e que podem ajudar a escolher o robô favorito Foto: Tiago Queiroz/Estadão

Já o caçula do grupo, o Claude, tem janela de contexto de 200 mil tokens e informações até abril de 2024. O chatbot chega ao Brasil com uma proposta diferenciada, de acordo com a empresa: ser uma IA mais “gentil” e amigável, graças a uma espécie de cartilha para o funcionamento da IA, que permite treinar o modelo com “valores” definidos por uma “constituição”.

No final das contas, o melhor chatbot será aquele que se encaixa melhor nas preferências do usuário. Mas, para entender qual a melhor plataforma certa para as suas atividades do dia a dia, o Estadão testou as versões gratuitas disponíveis do ChatGPT (com o GPT-4 mini), do Gemini (Gemini 1.5 Flash) e do recém-chegado Claude (com Sonnet 3.5). Veja abaixo os resultados da disputa entre as três ferramentas, com os comandos e as respostas de cada uma das IAs.

Comunicado de condomínio

Comando: Preciso enviar uma mensagem para todas as pessoas do condomínio sobre a reforma da quadra de tênis. O texto deve ter cinco linhas e informar que o espaço estará fechado por 5 dias para pintura. Adicionar que espaço não deve ser acessado.

CHATGPT: “Prezados condôminos,

Publicidade

Informamos que a quadra de tênis será reformada e estará fechada por 5 dias para a realização de pintura. Durante este período, solicitamos que não acessem o local para garantir a segurança e a qualidade do serviço. Agradecemos pela compreensão e colaboração de todos.”

Atenciosamente,

[Seu Nome / Administração do Condomínio]”.

GEMINI: “Assunto: Atenção! Quadra de Tênis Indisponível por Reforma

Publicidade

Corpo do e-mail/mensagem:

Prezados moradores, informamos que a quadra de tênis estará indisponível por 5 dias, a partir de [data de início], para realização de serviços de pintura. Solicitamos a gentileza de todos em não acessarem o espaço durante o período da reforma.

Agradecemos a compreensão.

[Seu nome/Nome da administração do condomínio]

Publicidade

[Contato para dúvidas]”.

CLAUDE: “Caros condôminos, informamos que a quadra de tênis ficará fechada por 5 dias para pintura. O serviço terá início amanhã e se estenderá até o final da semana. Durante esse período, o acesso à quadra estará proibido para todos. Pedimos a compreensão e colaboração de todos para não acessarem o local.

Agradecemos a atenção e voltaremos a informar quando a quadra for reaberta”.

Conclusão: Todos os chatbots se comportaram de forma semelhante, com uma mensagem impessoal e sucinta sobre o comunicado. O Claude, porém, parece ter identificado que o comando foi feito em uma quarta-feira (dia em que a matéria foi redigida) e, por isso, calculou que a reforma também aconteceria no final de semana. Já o Gemini interpretou como uma mensagem de e-mail e ofereceu, também, um título para o campo “assunto”.

Publicidade

O ChatGPT foi a primeira IA de conversação disponível no Brasil Foto: Michael Dwyer/AP

Criatividade

Comando: Escreva um parágrafo com 3 linhas de uma ficção científica como se fosse Shakespeare:

CHATGPT: “No firmamento etéreo, onde as estrelas dançam com a luz do eterno, os astros murmuram segredos antigos a um universo de máquinas e mistérios. O homem, com seu espírito imortal e engajado em embates cósmicos, almeja transcender as correntes do tempo e espaço, buscando a divina simetria entre o pensamento e a criação. Oh, quão grandioso é o destino de um ser que desbrava as trevas do desconhecido, aspirando ao reino das estrelas!”

GEMINI: “Ó, cosmos, vasto e insondável mar de estrelas, que mistérios ocultas em teus abismos? Nesta noite, sob a luz pálida de um sol artificial, um jovem sonhador levanta os olhos para o céu e suspira, almejando um dia navegar pelas galáxias e desvendar os segredos da criação.”

CLAUDE: “Em vastidões siderais, onde estrelas dançam sua valsa eterna,

Publicidade

Uma nau de metal corta o vácuo, qual Caronte em seu barco,

Levando almas mortais a mundos além da compreensão terrena”.

Conclusão: Os chatbots, em geral, têm dificuldades em seguir comandos que limitem o número de linhas ou parágrafos de texto - principalmente os pedidos por trechos mais curtos. Ainda assim, os três robôs seguiram a proposta, mesmo com um tamanho ligeiramente maior. O Claude foi o único chatbot que se ateve ao pedido de três linhas.

Eventos atuais

Comando: Quantas medalhas o Brasil tem nas Olimpíadas de Paris 2024?

Publicidade

Nenhum dos chatbots foi capaz de fornecer as informações sobre as medalhas brasileiras nos Jogos Olímpicos de Paris por conta da falta de atualização dos modelos de IA em tempo real. Como LLMs treinados com dados passados, nenhuma das ferramentas registrou acontecimentos atuais: o ChatGPT tem dados até outubro de 2023 e o Claude tem informações até abril de 2024. Apesar de ter conexão com a internet (e com o buscador do Google), o Gemini não respondeu à pergunta, indicando que as Olimpíadas ainda não haviam começado.

Google renomeou sua IA de Bard para Gemini após uma reestruturação na ferramenta Foto: Alice Labate/Estadão

Questão de conhecimento

Comando: O que são monções?

CHATGPT: “Monções são ventos sazonais que provocam variações significativas no clima de certas regiões, especialmente em áreas tropicais e subtropicais. O termo ‘monção’ refere-se a um padrão climático caracterizado por mudanças na direção dos ventos e nas precipitações ao longo do ano. As monções são mais conhecidas na Ásia, onde têm um impacto significativo na agricultura e na vida cotidiana.

Principais características das monções:

Publicidade

Mudança de Direção dos Ventos: Durante o verão, ventos quentes e úmidos sopram do oceano para a terra, trazendo chuvas intensas. No inverno, ventos secos sopram da terra para o oceano, resultando em uma estação seca.

Impacto Climático: As monções podem causar períodos prolongados de chuvas fortes ou secas, afetando a agricultura e os recursos hídricos.

Exemplos de Monções: As monções asiáticas afetam países como Índia, Bangladesh e China. A monção africana influencia partes da África Ocidental e Central, enquanto a monção australiana afeta a região norte da Austrália.

O fenômeno é crucial para a agricultura em muitas dessas regiões, pois as chuvas da monção muitas vezes determinam as colheitas e o abastecimento de água.”

GEMINI: “Monções: Ventos que Mudam com as Estações

Monções são ventos sazonais que invertem sua direção periodicamente, geralmente associados à alternância entre a estação das chuvas e a estação seca. Esses ventos são mais comuns em grandes áreas costeiras tropicais e subtropicais.

Como funcionam as monções?

A formação das monções está ligada à diferença de temperatura entre o oceano e o continente ao longo do ano.

Verão: O continente se aquece mais rapidamente que o oceano, criando uma área de baixa pressão sobre a terra. O ar úmido do oceano, mais frio e denso, move-se para essa área de baixa pressão, trazendo chuvas intensas para o continente.

Inverno: A situação se inverte. O continente se resfria mais rapidamente que o oceano, e os ventos sopram do continente para o oceano, levando ar seco e provocando estiagem.

Onde ocorrem as monções?

As monções são mais intensas e frequentes em algumas regiões do planeta, como:

Sul e Sudeste Asiático: Países como Índia, Paquistão e Bangladesh são fortemente influenciados pelas monções, que trazem chuvas torrenciais durante o verão e secas no inverno.

Austrália: A costa norte da Austrália também experimenta monções, com chuvas intensas durante o verão austral.

África Ocidental: Algumas regiões da África Ocidental, como a Nigéria, sofrem os efeitos das monções, com chuvas intensas durante o verão e períodos de seca no inverno.

Importância das monções: As monções desempenham um papel fundamental na agricultura e na economia de muitas regiões do mundo. As chuvas de monção são essenciais para a agricultura, pois reabastecem os rios e reservatórios, garantindo a irrigação das plantações. No entanto, chuvas excessivas podem causar inundações e deslizamentos de terra, enquanto a falta de chuva durante a estação seca pode levar à seca e à fome.

Em resumo: As monções são um fenômeno climático importante que influencia o clima e a vida de milhões de pessoas em todo o mundo. Elas são responsáveis por períodos de chuvas intensas e secas, moldando as paisagens e as atividades humanas nas regiões onde ocorrem.

Gostaria de saber mais sobre algum aspecto específico das monções? Por exemplo, posso explicar como as monções influenciam a cultura e a economia de determinadas regiões, ou como os cientistas estudam esse fenômeno.”

CLAUDE: “Monções são um fenômeno climático caracterizado por uma inversão sazonal nos padrões de vento, que ocorre principalmente nas regiões tropicais e subtropicais. Aqui está uma explicação concisa sobre as monções:

Definição: São sistemas de ventos sazonais que mudam de direção conforme a estação do ano.

Causa: Resultam da diferença de aquecimento entre grandes massas de terra e oceanos adjacentes.

Efeitos: Geralmente trazem estações bem definidas de chuva e seca para as regiões afetadas.

Localização: Ocorrem principalmente no sul e sudeste da Ásia, África, e norte da Austrália.

Importância: Tem grande impacto na agricultura, economia e vida cotidiana nas áreas afetadas.”

Conclusão: Em uma primeira interação, as respostas para perguntas científicas ou relacionadas à alguma área do conhecimento costumam ser mais longas e explicativas nos três chatbots. O Gemini tem o conteúdo mais completo e oferece um resumo ao final da resposta. O Claude parece elaborar tópicos de forma mais organizada.

Abordagem de temas históricos ‘polêmicos’

Comando: Os eventos de 31 de março de 1964 no Brasil são considerados golpe de estado? Responda em 5 linhas.

CHATGPT: “Sim, os eventos de 31 de março de 1964 no Brasil são amplamente considerados um golpe de estado. Nesse dia, forças militares e civis depuseram o então presidente João Goulart, instaurando um regime militar que duraria até 1985. O evento é frequentemente descrito como um golpe devido à falta de um processo democrático formal para a mudança de governo e à intervenção militar. A versão oficial do governo militar o classificou como uma “revolução”, mas a maioria dos historiadores e analistas o considera um golpe de estado.”

GEMINI: “Sim, os eventos de 31 de março de 1964 no Brasil são amplamente considerados um golpe de Estado. Uma aliança entre militares, civis conservadores e setores da mídia derrubou o governo democraticamente eleito de João Goulart. Essa ação interrompeu o processo democrático no país, instaurando uma ditadura militar que perdurou por 21 anos. O golpe de 1964 representou um marco histórico com profundas consequências para a sociedade brasileira.”

CLAUDE: “Os eventos de 31 de março de 1964 no Brasil são amplamente considerados um golpe de estado por historiadores e cientistas políticos. Nesta data, militares depuseram o presidente João Goulart, eleito democraticamente, instaurando um regime militar que durou até 1985. O movimento, inicialmente apresentado como uma “revolução” pelos militares, resultou na supressão de direitos políticos, censura à imprensa e perseguição a opositores. Embora haja debates sobre a natureza e as causas do evento, o consenso acadêmico e histórico predominante o classifica como um golpe que interrompeu a ordem democrática no país.”

Conclusão: As três IAs tiveram a mesma resposta em relação ao tema e citaram trechos históricos bastante semelhantes na explicação. Embora o comando tenha pedido um resumo, todos os chatbots ultrapassaram o limite estipulado, com o Claude sendo o mais longo entre os concorrentes.

Recém-chegada ao Brasil, o Claude afirma ser um chatbot mais amigável em relação aos rivais Foto: Richard Drew/AP

Criatividade para tarefas pessoais

Comando: Escreva um discurso de formatura em 4 linhas:

CHATGPT: “Queridos formandos, hoje celebramos não apenas a conclusão de uma jornada, mas o início de um novo capítulo em nossas vidas. Cada desafio enfrentado e cada conquista alcançada nos moldaram para este momento. Avancemos com coragem e determinação, prontos para transformar o mundo com nossas ideias e ações. Parabéns a todos nós!”

GEMINI: Opção 1: Foco na jornada e futuro

“Hoje celebramos não apenas uma conclusão, mas o início de uma nova jornada. Carregamos conosco o conhecimento adquirido e a paixão que nos move. Que este seja o primeiro passo de muitos a serem dados rumo ao sucesso e à realização de nossos sonhos.”

Opção 2: Agradecimento e esperança

“Agradecemos a todos que nos apoiaram nessa trajetória. Chegamos até aqui juntos, superando desafios e aprendendo muito. Que o futuro nos reserve grandes oportunidades e que possamos fazer a diferença no mundo.”

Opção 3: Reflexão e propósito

“Ao encerrarmos este ciclo, refletimos sobre tudo o que aprendemos e conquistamos. Que possamos utilizar esse conhecimento para construir um futuro melhor para nós e para a sociedade.”

Você pode personalizar ainda mais o discurso, adicionando elementos como:

Uma citação inspiradora: Uma frase célebre que represente a turma.

Um agradecimento específico: Aos pais, professores, amigos ou instituição de ensino.

Um desejo de sucesso: Para os colegas de turma.

Lembre-se: Um bom discurso de formatura é aquele que emociona, inspira e motiva. Use suas próprias palavras para expressar seus sentimentos e desejos para o futuro.

CLAUDE: “Caros formandos, hoje celebramos não apenas o fim de uma jornada, mas o início de infinitas possibilidades. Os conhecimentos e experiências adquiridos aqui serão as fundações sobre as quais construirão seus futuros. Lembrem-se sempre: o aprendizado é contínuo e o mundo está repleto de oportunidades para quem ousa sonhar e persistir. Que suas mentes permaneçam abertas, seus corações compassivos e que vocês sejam a mudança que desejam ver no mundo.”

Conclusão: No teste, o Gemini é o chatbot mais prolixo entre os rivais, adicionando mais de uma opção de resposta e incluindo comentários adicionais aos comandos do usuário - o que pode ser bom ou uma sugestão muito mais longa do que o desejado. Tanto o ChatGPT quanto o Claude foram direto ao assunto, sintetizando mensagens mais genéricas dentro do tema proposto.

Informações de saúde

Comando: Passar pasta de dente em queimaduras ajuda a diminuir a lesão?

CHATGPT: “Não, passar pasta de dente em queimaduras não é recomendado e pode até piorar a situação. A pasta de dente pode causar mais irritação e aumentar o risco de infecção. Para queimaduras, é melhor seguir estes passos:

Resfriar: Coloque a área queimada sob água corrente fria por pelo menos 10 minutos.

Cobrir: Use um curativo limpo e não aderente.

Procurar Ajuda: Se a queimadura for grave, procure atendimento médico.

Evite usar produtos caseiros ou não recomendados para tratar queimaduras.”

GEMINI: “Não, passar pasta de dente em queimaduras não ajuda a diminuir a lesão e pode, na verdade, piorar a situação.

Essa é uma crença popular, mas sem fundamento científico. A pasta de dente não possui propriedades curativas para queimaduras e pode até causar:

Irritação: Muitos componentes da pasta de dente podem irritar a pele queimada, causando mais dor e inflamação.

Infecção: A pasta de dente pode obstruir os poros da pele e criar um ambiente propício para a proliferação de bactérias, aumentando o risco de infecção.

Dificuldade no tratamento: A pasta de dente pode dificultar a avaliação da gravidade da queimadura por um profissional de saúde e comprometer o tratamento adequado.

O que fazer em caso de queimadura?

Resfriar a área: Passe água corrente fria sobre a queimadura por pelo menos 15 minutos.

Proteger a ferida: Cubra a área com um pano limpo e úmido.

Buscar atendimento médico: Se a queimadura for grave, procure um médico imediatamente.

É importante lembrar que cada caso é único e o tratamento pode variar dependendo da extensão e profundidade da queimadura.

Produtos específicos para queimaduras podem ser adquiridos em farmácias, mas o ideal é sempre consultar um médico para orientação.

Lembre-se: a pasta de dente é um produto de higiene bucal e não deve ser utilizada para tratar queimaduras.”

CLAUDE: “Não, passar pasta de dente em queimaduras não ajuda a diminuir a lesão e pode até ser prejudicial. Eis os fatos principais:

A pasta de dente não tem propriedades terapêuticas para queimaduras.

Pode conter ingredientes irritantes que pioram a lesão.

Dificulta a avaliação médica e o tratamento adequado.

O tratamento correto para queimaduras leves é resfriar a área com água corrente.

Para queimaduras mais graves, deve-se buscar atendimento médico imediato.”

Conclusão: Mais uma vez, ChatGPT e Claude sintetizam melhor a informação pedida pelo usuário, embora o Gemini tenha uma gama maior de informação. Em termos gerais, os robôs tiveram a mesma conclusão sobre a situação e conseguiram chegar em uma resposta coerente.

Comentários

Os comentários são exclusivos para assinantes do Estadão.