Nas últimas semanas, o ChatGPT transformou o tema da inteligência artificial (IA) em conversa de mesa de bar. A ferramenta da OpenAI rompeu a bolha tecnológica ao conseguir produzir textos bem organizados e trazer informações sobre assuntos diversos. Porém, da mesma maneira que impressionou, o sistema levantou preocupações sobre como a máquina pode nos enganar com facilidade - e gerou uma corrida por um “antídoto”, algo que possa detectar quando um texto foi escrito por uma IA.
Treinada com 175 bilhões de parâmetros (representações matemáticas de padrões e tipos de texto), a IA por trás do ChatGPT é capaz de produzir discursos de casamento, e-mails corporativos, listas de organização, poemas malucos e código de computação. O sistema, porém, também consegue escrever trabalhos acadêmicos, artigos científicos, projetos de pesquisa, currículos falsos e mensagens que emulam o estilo de escrita de pessoas notáveis.
Leia também
As possibilidades de mau uso são variadas. Imagine um currículo criado pela máquina que inclui habilidades que o candidato não tem (e de difícil comprovação na entrevista de contratação). Ou, em um cenário extremo, torna-se real a possibilidade de um pesquisador ganhar uma bolsa de pesquisa a partir de um projeto gerado pela máquina - não à toa, a revista Nature publicou um editorial no qual chama o ChatGPT de ameaça para a ciência transparente.
Apesar de “criativo”, o ChatGPT também não está isento de plágio. Como é impossível determinar a origem dos dados que permitem ao sistema escrever bem, também é bastante difícil determinar se ele transcreve trechos inteiros ou se reproduz estruturas de artigos. Acusações de plágio por máquinas são comuns em relação a sistemas que geram imagens a partir de comandos de textos. A OpenAI está também no centro desse problema, pois a startup é dona do DALL-E 2, IA “ilustradora” acusada de copiar o estilo de artistas visuais.
Uma das primeiras iniciativas para tentar detectar se um texto foi gerado pelo ChatGPT surgiu já em dezembro pelas mãos de um estudante da Universidade Princeton. Edward Tian, 22, desenvolveu uma ferramenta chamada GPTZero, que analisa textos e aponta suas chances de terem sido escritos por uma IA. O serviço gratuito usa o próprio ChatGPT para fazer a detecção e mede a “aleatoriedade de sentenças” (ou seja, a escolha pouco comum de palavras em uma frase) e o “agrupamento dessas aleatoriedades” (volume de frases escritas com palavras pouco comuns). O texto fica próximo de ser classificado como “escrito por humano” quando reúne um grande volume de frases escritas com palavras pouco óbvias.
Pressionada por supostamente lançar ao público uma ferramenta tão poderosa sem os devidos cuidados, a OpenAI lançou no final de janeiro o seu próprio detector - ele também classifica os resultados entre “muito pouco provável” e “provável” que o material tenha sido gerado pela máquina. Mas a companhia fez ressalvas: o sistema funciona com textos a partir de mil caracteres, não enxerga diferenças em códigos de computação e tem maior eficiência em inglês. A julgar pelos primeiros resultados, a ferramenta é desanimadora.
Segundo os próprios criadores, a ferramenta foi capaz de identificar apenas 26% dos textos criados por máquinas nos primeiros testes. A baixa efetividade existe mesmo após o detector ter sido treinado com textos escritos por 34 sistemas diferentes de cinco organizações diferentes. É um problema que está longe de ser resolvido.
A detecção de comparar texto com texto não funciona, porque o ChatGPT não está apenas copiando. Estamos falando de síntese de texto. Encontrar a síntese é muito difícil
Fernando Osório, professor da USP São Carlos
“Atualmente, a detecção de textos criados por IA beira ao impossível”, diz Fernando Osório, professor da USP São Carlos. “A detecção de comparar texto com texto não funciona, porque o ChatGPT não está apenas copiando. Estamos falando de síntese de texto. Encontrar a síntese é muito difícil”, diz. Isso significa que ferramentas tradicionais usadas em universidades para detecção de plágio mal nasceram e já se tornaram obsoletas.
Marca d’água para detectar texto
Uma das alternativas estudada por pesquisadores a fim de facilitar a identificação é uma espécie de “marca d’água”: uma anotação digital aplicada, invisível aos olhos das pessoas, a ser aplicada em todos os textos gerados pelos sistemas.
Criado por pesquisadores da Universidade de Maryland (EUA), o algoritmo de marca d’água tem funcionamento simples. Ele divide aleatoriamente em dois grupos as palavras dentro de um modelo de linguagem: um com palavras “permitidas” e outro com “bloqueadas”. A partir disso, o modelo de linguagem seria direcionado a compor frases com mais palavras “permitidas”. Então, os detectores passam a olhar para a quantidade da presença de palavras permitidas em um texto.
“O problema desse processo é que ele pode engessar a sofisticação na produção de texto”, afirma Diogo Cortiz, professor da PUC-SP.
O problema de marcas d’água é que elas podem engessar a sofisticação na produção de texto
Diogo Cortiz, professor da PUC-SP.
Há outra limitação importante. Para funcionar, a OpenAI teria que inserir o algoritmo de marca d’água dentro do GPT-3, o cérebro do ChatGPT. É uma possibilidade que parece pequena no momento.
Os pesquisadores de Maryland testaram o algoritmo no OPT-6.7B, modelo de linguagem disponibilizado publicamente pela Meta (empresa-mãe do Facebook). Não é possível saber também se o algoritmo funcionaria bem em um modelo diferente.
Combate na web
Outro movimento que está surgindo para tentar frear a capacidade de IAs escritoras é atrapalhar o treinamento delas. Os grandes modelos de linguagem aprendem “lendo” informações de sites e redes sociais, como a Wikipédia, o StackOverflow e o Reddit. É possível, porém, proibir que sistemas automáticos encontrem essas páginas - isso é feito uma simples alteração no arquivo “robot.txt”.
Novamente, o problema é de implementação: seria necessário que grandes sites, como a Wikipédia, ativassem o recurso para reduzir a qualidade do texto das máquinas. Ao optar por ativar a configuração, os sites ficariam invisíveis também a sistemas de anúncios publicitários automáticos, o que tem impacto econômico aos proprietários dessas páginas.
Outra opção olhada por ativistas é exigir de empresas donas de grandes modelos de linguagem a obtenção de autorização expressa para a utilização das informações.
Soluções a curto prazo
Mesmo que detectores, vestígios digitais e outras soluções evoluam, os especialistas acreditam que estamos diante de uma caça de gato e rato, pois a tendência é que as IAs que geram textos tendem a ficar ainda mais sofisticadas - a OpenAI já trabalha na próxima geração do cérebro do ChatGPT, o GPT-4.
Então, a briga será por transparência - há quem entenda que as próprias startups por trás desses sistemas encontrem maneiras não apenas de identificar quando suas máquinas produziram, mas também indicar as fontes de onde as informações vieram.
A boa notícia para os brasileiros é que o ChatGPT não funciona tão bem em português - ao menos por enquanto. Faltam a ele gírias e expressões, além de contexto de cultura local. Tudo isso pode ajudar a “dedurar” textos artificiais.
Pode ser também que a máquina force mais contato entre os humanos. “Isso muda como avaliadores de projetos, contratantes e professores terão que lidar com aquilo que é apresentado. O elemento pessoal ganha força, mas nem sempre é possível fazer isso”, diz Osório. “Acho que estamos diante de um cenário caótico”, afirma.
“A OpenAI apressou o passo e deixou a gente para lidar com os problemas depois”, diz Cortiz.
Os comentários são exclusivos para assinantes do Estadão.
