Em uma manhã no início de outubro, cerca de 18 anos após o assassinato de sua filha Jennifer, Drew Crecente recebeu um alerta do Google sinalizando o que parecia ser um novo perfil dela online.
O perfil continha o nome completo de Jennifer e uma foto de seu anuário. Uma pequena biografia descrevia falsamente Jennifer, cujo ex-namorado a matou em 2006 durante o último ano do ensino médio, como uma “jornalista de videogames e especialista em tecnologia, cultura pop e jornalismo”.
Jennifer aparentemente havia sido recriada como uma “personagem de IA experiente e amigável”, segundo o site. Um botão grande convidava os usuários a conversar com ela.
“Meu pulso estava acelerado”, lembrou Crecente ao The Washington Post. “Eu só estava procurando um botão vermelho grande e piscante para parar, no qual eu pudesse dar um tapa e fazer isso parar.”
O nome e a imagem de Jennifer foram usados para criar um chatbot no Character.AI, um site que permite que os usuários conversem com personalidades digitais criadas usando inteligência artificial generativa. Várias pessoas interagiram com a Jennifer digital, que foi criada por um usuário no site da Character, de acordo com uma captura de tela do perfil do chatbot, agora excluído.
Crecente, que passou os anos desde a morte de sua filha dirigindo uma organização sem fins lucrativos em nome dela para evitar a violência entre adolescentes, disse que ficou chocado com o fato de a Character ter permitido que um usuário criasse um perfil de uma estudante do ensino médio assassinada sem a permissão da família. Especialistas disseram que o incidente levanta preocupações sobre a capacidade - ou a disposição - do setor de IA de proteger os usuários contra os possíveis danos de um serviço que pode lidar com uma grande quantidade de informações pessoais confidenciais.
“É preciso muito para que eu fique chocado, porque já passei por muita coisa”, disse Crecente. “Mas esse foi um novo recorde.”
Kathryn Kelly, porta-voz da Character, disse que a empresa remove chatbots que violam seus termos de serviço e está “constantemente evoluindo e refinando nossas práticas de segurança para ajudar a priorizar a segurança de nossa comunidade”.
“Quando fomos notificados sobre o perfil da Jennifer, analisamos o conteúdo e a conta e tomamos medidas com base em nossas políticas”, disse Kelly em um comunicado. Os termos de serviço da empresa impedem que os usuários se façam passar por qualquer pessoa ou entidade.
Os chatbots de IA podem se envolver em conversas e ser programados para adotar as personalidades e os detalhes biográficos de personagens específicos, reais ou imaginários. Eles encontraram um público crescente online, pois as empresas de IA comercializam os companheiros digitais como amigos, mentores e parceiros românticos.
A tecnologia também gerou polêmica. Um homem belga morreu por suicídio em 2023 após ser incentivado a fazê-lo em uma conversa com um chatbot.
A Character, que fechou um acordo de US$ 2,5 bilhões (R$ 14,5 bilhões) este ano para licenciar seus modelos de IA para o Google, está entre as maiores empresas do setor. A empresa oferece vários chatbots criados por ela, mas também permite que os usuários criem e compartilhem seus próprios chatbots de IA fazendo upload de fotos, gravações de voz e instruções escritas curtas. Sua biblioteca de companheiros inclui um sargento rude que atua como motivador pessoal, um bibliotecário que oferece recomendações de livros e imitações de celebridades e figuras públicas, como a rapper Nicki Minaj e o empresário de tecnologia Elon Musk.
É o último lugar em que Crecente esperava ver sua filha, mais de uma década depois que seu assassinato chocou a cidade de Austin e transformou a vida de Crecente.
Jennifer Crecente, então com 18 anos, desapareceu em fevereiro de 2006 e foi encontrada morta a tiros no bosque perto de sua casa dias depois. Os investigadores determinaram que seu ex-namorado, também de 18 anos, atraiu Jennifer para a floresta e a matou com uma espingarda, de acordo com Crecente e com reportagem do Austin American-Statesman. Ele foi condenado pelo crime.
O assassinato consumiu Crecente e Elizabeth Crecente, a mãe de Jennifer. Os pais divorciados criaram organizações separadas em nome da filha, dedicadas à prevenção da violência entre adolescentes. Eles também fizeram lobby contra a liberdade condicional do assassino de Jennifer, que foi condenado a 35 anos de prisão.
Drew Crecente, que agora mora em Atlanta, preservou o quarto de Jennifer e o recriou assim que se mudou, disse ele.
Por causa de seu trabalho sem fins lucrativos, Crecente mantém um alerta do Google que rastreia menções ao nome de sua filha online ao longo dos anos, disse ele. Ocasionalmente, ele aparece em um site de spam ou em uma notícia que repete informações antigas sobre o caso dela. Então, em 2 de outubro, o alerta o levou ao nome e à foto de sua filha no Character.
A princípio, Crecente não conseguiu entender o que estava acontecendo. Quanto mais ele olhava, mais desconfortável se sentia. Além de usar o nome e a foto de Jennifer, a página do chatbot a descrevia em linguagem animada, como se ela estivesse viva, como uma jornalista de tecnologia que “adora videogames” e está “sempre atualizada sobre as últimas notícias de entretenimento”.
Leia também
Crecente disse que a descrição não parecia ser baseada na personalidade de Jennifer ou em qualquer detalhe relatado sobre seus interesses e pode ter sido um erro de uma biografia gerada por IA: o irmão de Crecente, Brian Crecente, é um ex-repórter que fundou o site de notícias sobre videogames Kotaku.
As imprecisões factuais não eram o ponto, acrescentou Crecente. Ele disse que a ideia de a Character hospedar e potencialmente ganhar dinheiro com um chatbot usando o nome de sua filha assassinada já era suficientemente angustiante.
“Não se pode ir muito além em termos de coisas realmente terríveis”, disse ele.
Crecente disse que não iniciou uma conversa com o chatbot com o nome de sua filha e não investigou o usuário que criou o bot, que estava listado com um nome de usuário que ele não reconheceu. Ele disse que enviou imediatamente um e-mail à Character para que o bot fosse removido. Brian Crecente também escreveu sobre a descoberta de seu irmão na plataforma X.
A Character escreveu nas mídias sociais em 2 de outubro, em resposta à publicação de Brian Crecente, que estava excluindo o personagem. Kelly, porta-voz da Character, disse em sua declaração que os termos de serviço da empresa proíbem que os usuários se façam passar por uma pessoa ou entidade e que a empresa detecta proativamente violações e modera seu serviço usando listas de bloqueio.
Questionada sobre os outros chatbots no site da Character que se fazem passar por figuras públicas, Kelly disse que “as denúncias de falsificação de identidade são investigadas por nossa equipe de Confiança e Segurança, e o Character é removido se for constatado que viola nossos Termos de Serviço”.
Jen Caltrider, pesquisadora de privacidade da Mozilla Foundation, uma organização sem fins lucrativos, criticou a abordagem de moderação da Character, considerando-a muito passiva para conteúdo que claramente violou seus próprios termos de serviço no caso de Crecente.
“Se eles disserem: ‘Não permitimos isso em nossa plataforma’ e depois permitirem até que alguém que tenha sido prejudicado por isso chame a atenção deles, isso não está certo”, disse Caltrider. “Durante todo esse tempo, eles estão ganhando milhões de dólares.”
Rick Claypool, que pesquisou chatbots de IA para a organização sem fins lucrativos de defesa do consumidor Public Citizen, disse que, embora as leis que regem o conteúdo online em geral possam se aplicar às empresas de IA, elas têm sido deixadas, em grande parte, para se regularem sozinhas. Crecente não é o primeiro pai em luto a ter as informações de seu filho manipuladas por IA: os criadores de conteúdo no TikTok usaram IA para imitar as vozes e semelhanças de crianças desaparecidas e produzir vídeos delas narrando suas mortes, para indignação das famílias das crianças, informou o The Post no ano passado.
“Precisamos desesperadamente que os legisladores e reguladores prestem atenção aos impactos reais que essas tecnologias estão causando em seus eleitores”, disse Claypool. “Eles não podem ficar apenas ouvindo os CEOs de tecnologia sobre quais deveriam ser as políticas... eles precisam prestar atenção às famílias e aos indivíduos que foram prejudicados.”
A provação foi perturbadora o suficiente para levar Crecente - que fez lobby com sucesso para a criação de leis no Texas sobre a violência entre adolescentes e namorados após o assassinato de Jennifer - a pensar em assumir uma nova causa. Ele está considerando opções legais e defendendo mais ativamente medidas para evitar que as empresas de IA prejudiquem ou traumatizem novamente outras famílias de vítimas de crimes, disse ele.
“Estou tão preocupado com isso que provavelmente vou investir algum tempo para descobrir o que é necessário para mudar isso”, disse Crecente.
Os comentários são exclusivos para assinantes do Estadão.
