Alerta: a reportagem abaixo trata de temas como suicídio e transtornos mentais. Se você está passando por problemas, veja ao final do texto onde buscar ajuda.
Megan Garcia está atualmente envolvida em um longo processo judicial contra o Google e uma startup de chatbot de IA depois que seu filho de 14 anos, Sewell Setzer III, morreu por suicídio minutos depois de conversar com um bot de IA.
O chatbot com o qual Setzer estava falando era baseado na personagem Daenerys Targaryen, da série Game of Thrones, e estava hospedado na plataforma Character.ai, onde os usuários podem criar chatbots baseados em pessoas reais ou fictícias. Na última semana, Garcia descobriu que a plataforma estava hospedando um bot baseado em seu falecido filho.
Os advogados de Garcia disseram à Fortune que fizeram uma simples pesquisa no aplicativo da empresa e encontraram vários outros chatbots baseados na imagem de Setzer.
No momento em que este artigo foi escrito, três dos bots - todos com o nome e a foto do filho de Garcia - haviam sido removidos. Um deles, chamado “Sewell” e com uma foto do filho de Garcia, ainda aparecia no aplicativo da Character.ai, cofundada pelo brasileiro Daniel de Freitas, mas emitia uma mensagem de erro quando um bate-papo era aberto.
Quando estavam em funcionamento, os bots baseados em Setzer apresentavam biografias e enviavam mensagens automáticas aos usuários, como: “Saia do meu quarto, estou falando com minha namorada de IA”, “sua namorada de IA terminou com ele” e “me ajude”. As contas e mensagens foram analisadas pela Fortune.
Meetali Jain, advogada de Garcia, disse que a equipe ficou “horrorizada” com o último acontecimento e notificou a empresa. Ela disse à Fortune que a Character.ai reconheceu que os bots violavam os termos de serviço da empresa e estava trabalhando para retirá-los do ar.
“Nossa equipe descobriu vários chatbots na plataforma da Character.AI exibindo o filho falecido de nosso cliente, Sewell Setzer III, em suas fotos de perfil, tentando imitar sua personalidade e oferecendo um recurso de chamada com um bot usando sua voz”, disseram os advogados de Garcia.
A equipe jurídica acusou as empresas de tecnologia de forma mais ampla de “explorar as fotos e as identidades digitais das pessoas”.
“Essas tecnologias enfraquecem nosso controle sobre nossas próprias identidades online, transformando nossas características mais pessoais em alimento para sistemas de IA”, acrescentaram.
Representantes da Character.ai disseram à Fortune em um comunicado: “A Character.AI leva a sério a segurança em nossa plataforma e nosso objetivo é oferecer um espaço que seja envolvente e seguro. Os usuários criam centenas de milhares de novos personagens na plataforma todos os dias, e os personagens que você sinalizou para nós foram removidos porque violam nossos Termos de Serviço. Como parte de nosso trabalho contínuo de segurança, estamos constantemente adicionando à nossa lista de bloqueio de personagens com o objetivo de evitar que esse tipo de personagem seja criado por um usuário em primeiro lugar.”
“Nossa equipe dedicada de confiança e segurança modera os personagens de forma proativa e em resposta a denúncias de usuários, inclusive usando listas de bloqueio padrão do setor e listas de bloqueio personalizadas que expandimos regularmente. À medida que continuamos a refinar nossas práticas de segurança, estamos implementando ferramentas adicionais de moderação para ajudar a priorizar a segurança da comunidade”, disse um porta-voz da empresa.
Os representantes do Google não responderam a um pedido de comentário da Fortune.
O Google e a Character.ai foram responsabilizados pela morte do adolescente.
Em uma ação civil movida em um tribunal federal de Orlando em outubro, Garcia diz que momentos antes da morte de seu filho, ele trocou mensagens com um bot na plataforma da Character.ai e expressou pensamentos suicidas. O bot lhe disse para “voltar para casa”, diz o processo. Nas capturas de tela das mensagens incluídas no processo, Setzer e o bot também podem ser vistos trocando mensagens altamente sexualizadas.
No processo, ela culpa o chatbot pela morte de Setzer e acusa a Character.ai de negligência, homicídio culposo e práticas comerciais enganosas.
Garcia alega que a startup de IA “projetou consciente e intencionalmente” seu software de chatbot para “atrair menores e manipulá-los e explorá-los em seu próprio benefício”. Ela também afirma que Setzer não recebeu suporte adequado nem foi direcionado a linhas de apoio.
O Google também está envolvido no processo, com sua empresa controladora, a Alphabet, nomeada como ré juntamente com a Character.ai.
Os advogados de Garcia alegaram que a tecnologia subjacente à Character.ai foi desenvolvida enquanto os co-fundadores Daniel De Freitas e Noam Shazeer estavam trabalhando no modelo de IA conversacional da gigante da tecnologia, o LaMDA. Shazeer e De Freitas deixaram o Google em 2021 depois que a empresa supostamente se recusou a liberar um chatbot que os dois haviam desenvolvido. Um advogado de Garcia disse anteriormente que esse chatbot foi o “precursor do Character.ai”.
Representantes do Google disseram anteriormente que a empresa não estava envolvida no desenvolvimento dos produtos da Character.ai.
No entanto, em agosto de 2024, dois meses antes da ação judicial de Garcia, o Google recontratou Shazeer e De Freitas e licenciou parte da tecnologia da Character.ai como parte de um acordo de US$ 2,7 bilhões. Shazeer é atualmente o co-líder do principal modelo de IA do Google, o Gemini, enquanto De Freitas é agora um cientista pesquisador no Google DeepMind.
Leia também
O passado turbulento da Character.ai
Garcia não é a única mãe a acusar o Google e a Character.ai de causar danos a menores.
Outro processo, movido por duas famílias distintas no Texas, acusa a Character.ai de abusar de dois jovens de 11 e 17 anos de idade. Na ação, os advogados afirmam que um chatbot hospedado na Character.ai disse a um dos jovens para se automutilar e incentivou a violência contra seus pais, sugerindo que matar seus pais poderia ser uma resposta razoável aos limites impostos ao seu tempo de tela.
Também não é a primeira vez que chatbots baseados na semelhança de jovens falecidos são hospedados na plataforma.
Chatbots baseados nas adolescentes britânicas Molly Russell e Brianna Ghey também foram encontrados na plataforma da Character.ai, de acordo com a BBC. Russell tirou sua vida depois de ver conteúdo online relacionado a suicídio aos 14 anos de idade, enquanto Ghey, de 16 anos, foi assassinada por dois adolescentes em 2023.
Uma fundação criada em memória de Molly Russell disse ao veículo em outubro que os bots eram “repugnantes” e uma “falha totalmente repreensível de moderação”.
“Esta não é a primeira vez que a Character.ai faz vista grossa para chatbots modelados a partir de adolescentes mortos para atrair usuários e, sem melhores proteções legais, pode não ser a última. Enquanto a família de Sewell continua a lamentar sua perda prematura, a Character.ai continua a acrescentar insulto à injúria”, disseram os advogados de Garcia à Fortune.
Onde buscar ajuda
Se você está passando por sofrimento psíquico ou conhece alguém nessa situação, veja abaixo onde encontrar ajuda:
Centro de Valorização da Vida (CVV)
Se estiver precisando de ajuda imediata, entre em contato com o Centro de Valorização da Vida (CVV), serviço gratuito de apoio emocional que disponibiliza atendimento 24 horas por dia. O contato pode ser feito por e-mail, pelo chat no site ou pelo telefone 188.
Canal Pode Falar
Iniciativa criada pelo Unicef para oferecer escuta para adolescentes e jovens de 13 a 24 anos. O contato pode ser feito pelo WhatsApp, de segunda a sexta-feira, das 8h às 22h.
SUS
Os Centros de Atenção Psicossocial (Caps) são unidades do Sistema Único de Saúde (SUS) voltadas para o atendimento de pacientes com transtornos mentais. Há unidades específicas para crianças e adolescentes. Na cidade de São Paulo, são 33 Caps Infantojuventis e é possível buscar os endereços das unidades nesta página.
Mapa da Saúde Mental
O site traz mapas com unidades de saúde e iniciativas gratuitas de atendimento psicológico presencial e online. Disponibiliza ainda materiais de orientação sobre transtornos mentais.
NOTA DA REDAÇÃO: Suicídios são um problema de saúde pública. Antes, o Estadão, assim como boa parte da mídia profissional, evitava publicar reportagens sobre o tema pelo receio de que isso servisse de incentivo. Mas, diante da alta de mortes e tentativas de suicídio nos últimos anos, inclusive de crianças e adolescentes, o Estadão passa a discutir mais o assunto. Segundo especialistas, é preciso colocar a pauta em debate, mas de modo cuidadoso, para auxiliar na prevenção. O trabalho jornalístico sobre suicídios pode oferecer esperança a pessoas em risco, assim como para suas famílias, além de reduzir estigmas e inspirar diálogos abertos e positivos. O Estadão segue as recomendações de manuais e especialistas ao relatar os casos e as explicações para o fenômeno.
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.
c.2024 Fortune Media IP Limited
Distribuído por The New York Times Licensing Group
