IA pode agravar muito o problema do abuso sexual infantil online; veja estudo


Uma enxurrada de pornografia infantil gerada por IA ameaça sobrecarregar o frágil sistema de denúncias de exploração infantil do país, alerta um relatório de Stanford

Por Will Oremus

O sistema dos EUA para rastrear e processar as pessoas que exploram sexualmente crianças online está sobrecarregado e com problemas, segundo um novo relatório — e a inteligência artificial (IA) está prestes a piorar muito o problema.

O relatório da Stanford Internet Observatory examina detalhadamente o CyberTipline, um órgão autorizado pelo governo americano para denúncias de material de abuso sexual infantil online, conhecido como CSAM, na sigla em inglês. A central recebe dezenas de milhões de denúncias anualmente de plataformas como Facebook, Snapchat e TikTok, e as encaminha para as agências responsáveis, às vezes levando a processos que podem desarticular redes de pedofilia e de tráfico sexual.

O pai de uma vítima de abuso infantil online participa de uma entrevista coletiva no Capitólio após uma audiência em 31 de janeiro sobre a proteção de crianças online Foto: Haiyun Jiang/The Washington Post
continua após a publicidade

Porém, apenas de 5% a 8% dessas denúncias resultam em prisões, segundo o relatório, devido à falta de financiamento, restrições legais e uma série de deficiências no processo de denúncia, priorização e investigação. Se essas limitações não forem resolvidas em breve, alertam os autores, o sistema poderá se tornar impraticável, pois os mais recentes geradores de imagens de IA liberam um dilúvio de imagens sexuais de crianças virtuais que são cada vez mais “indistinguíveis de fotos reais de crianças”.

“Essas rachaduras se tornarão abismos em um mundo no qual a IA está gerando CSAM totalmente novo”, diz Alex Stamos, especialista em segurança cibernética da Universidade Stanford, coautor do relatório. Embora a pornografia infantil gerada por computador apresente seus próprios problemas, ele afirma que o maior risco é que “o CSAM de IA vai enterrar o conteúdo real de abuso sexual”, desviando recursos de crianças reais que precisam de resgate.

O relatório se soma a um crescente clamor sobre a proliferação de CSAM, que pode arruinar a vida de crianças, e a probabilidade de que as ferramentas de IA geradoras exacerbem o problema. Isso ocorre no momento em que o Congresso dos EUA está considerando um conjunto de projetos de lei destinados a proteger as crianças online, depois que os senadores questionaram os CEOs de tecnologia em uma audiência em janeiro.

continua após a publicidade

Entre eles está o Kids Online Safety Act, que exigiria novos requisitos abrangentes às empresas de tecnologia para mitigar uma série de possíveis danos aos jovens usuários. Alguns defensores da segurança infantil também estão pressionando por mudanças na proteção de responsabilidade da Seção 230, dos Estados Unidos, para plataformas online. Embora suas descobertas pareçam dar mais urgência a essa pressão legislativa, os autores do relatório de Stanford concentraram suas recomendações no reforço do atual sistema de denúncias, em vez de reprimir as plataformas online.

“Há muito investimento que poderia ser feito apenas para melhorar o sistema atual antes de se fazer qualquer coisa que invada a privacidade”, como aprovar leis que obriguem as plataformas online a procurar CSAM ou exigir “portas traseiras” para a aplicação da lei em aplicativos de mensagens criptografadas, disse Stamos. Ex-diretor do Stanford Internet Observatory, Stamos também já foi chefe de segurança do Facebook e do Yahoo!.

continua após a publicidade

Como a IA piora o problema

Todos os problemas estão prestes a ser agravados por um ataque de conteúdo sexual infantil gerado por IA. No ano passado, o grupo sem fins lucrativos de segurança infantil Thorn informou que está observando uma proliferação dessas imagens online em meio a uma “corrida armamentista predatória” em fóruns de pedófilos.

Embora o setor de tecnologia tenha desenvolvido bancos de dados para detectar exemplos conhecidos de CSAM, os pedófilos agora podem usar a IA para gerar novos exemplos quase instantaneamente. Em parte, isso pode ser devido ao fato de que os principais geradores de imagens de IA foram treinados em CSAM reais, conforme relatado pelo Stanford Internet Observatory em dezembro.

continua após a publicidade

Quando as plataformas online tomam conhecimento do CSAM, elas são obrigadas, de acordo com a lei federal, a informar o fato à CyberTipline para que seja apurado e encaminhado às autoridades competentes. Mas a lei não exige que as plataformas online procurem o CSAM em primeiro lugar. E as proteções constitucionais contra buscas sem mandado restringem a capacidade do governo ou do NCMEC de pressionar as empresas de tecnologia a fazer isso.

Para resolver esses problemas, o relatório pede ao Congresso que aumente o orçamento do centro, esclareça como as empresas de tecnologia podem lidar e relatar o CSAM sem se expor a responsabilidades e esclareça as leis sobre o CSAM gerado por IA. Ele também pede que as empresas de tecnologia invistam mais na detecção e na denúncia cuidadosa de CSAM, faz recomendações para que o NCMEC aprimore sua tecnologia e pede que as autoridades policiais treinem seus agentes para investigar denúncias de CSAM.

continua após a publicidade

Em teoria, as empresas de tecnologia poderiam ajudar a gerenciar o influxo de AI CSAM trabalhando para identificá-lo e diferenciá-lo em seus relatórios, afirma Riana Pfefferkorn, pesquisadora do Stanford Internet Observatory que coescreveu o relatório. Mas, no sistema atual, não há “nenhum incentivo para a plataforma procurar”.

Embora o relatório de Stanford não endosse a Lei de Segurança Online para Crianças, suas recomendações incluem várias das disposições da Lei do Relatório, cujo foco é mais restrito à denúncia de CSAM. O Senado americano aprovou a Lei do Relatório em dezembro e ela aguarda uma ação na Câmara.

Em uma declaração na última segunda-feira, o Center for Missing and Exploited Children (Centro para Crianças Desaparecidas e Exploradas) disse que aprecia a “consideração completa dos desafios inerentes enfrentados por Stanford”. A organização disse que está ansiosa para explorar as recomendações do relatório.

continua após a publicidade

Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.

O sistema dos EUA para rastrear e processar as pessoas que exploram sexualmente crianças online está sobrecarregado e com problemas, segundo um novo relatório — e a inteligência artificial (IA) está prestes a piorar muito o problema.

O relatório da Stanford Internet Observatory examina detalhadamente o CyberTipline, um órgão autorizado pelo governo americano para denúncias de material de abuso sexual infantil online, conhecido como CSAM, na sigla em inglês. A central recebe dezenas de milhões de denúncias anualmente de plataformas como Facebook, Snapchat e TikTok, e as encaminha para as agências responsáveis, às vezes levando a processos que podem desarticular redes de pedofilia e de tráfico sexual.

O pai de uma vítima de abuso infantil online participa de uma entrevista coletiva no Capitólio após uma audiência em 31 de janeiro sobre a proteção de crianças online Foto: Haiyun Jiang/The Washington Post

Porém, apenas de 5% a 8% dessas denúncias resultam em prisões, segundo o relatório, devido à falta de financiamento, restrições legais e uma série de deficiências no processo de denúncia, priorização e investigação. Se essas limitações não forem resolvidas em breve, alertam os autores, o sistema poderá se tornar impraticável, pois os mais recentes geradores de imagens de IA liberam um dilúvio de imagens sexuais de crianças virtuais que são cada vez mais “indistinguíveis de fotos reais de crianças”.

“Essas rachaduras se tornarão abismos em um mundo no qual a IA está gerando CSAM totalmente novo”, diz Alex Stamos, especialista em segurança cibernética da Universidade Stanford, coautor do relatório. Embora a pornografia infantil gerada por computador apresente seus próprios problemas, ele afirma que o maior risco é que “o CSAM de IA vai enterrar o conteúdo real de abuso sexual”, desviando recursos de crianças reais que precisam de resgate.

O relatório se soma a um crescente clamor sobre a proliferação de CSAM, que pode arruinar a vida de crianças, e a probabilidade de que as ferramentas de IA geradoras exacerbem o problema. Isso ocorre no momento em que o Congresso dos EUA está considerando um conjunto de projetos de lei destinados a proteger as crianças online, depois que os senadores questionaram os CEOs de tecnologia em uma audiência em janeiro.

Entre eles está o Kids Online Safety Act, que exigiria novos requisitos abrangentes às empresas de tecnologia para mitigar uma série de possíveis danos aos jovens usuários. Alguns defensores da segurança infantil também estão pressionando por mudanças na proteção de responsabilidade da Seção 230, dos Estados Unidos, para plataformas online. Embora suas descobertas pareçam dar mais urgência a essa pressão legislativa, os autores do relatório de Stanford concentraram suas recomendações no reforço do atual sistema de denúncias, em vez de reprimir as plataformas online.

“Há muito investimento que poderia ser feito apenas para melhorar o sistema atual antes de se fazer qualquer coisa que invada a privacidade”, como aprovar leis que obriguem as plataformas online a procurar CSAM ou exigir “portas traseiras” para a aplicação da lei em aplicativos de mensagens criptografadas, disse Stamos. Ex-diretor do Stanford Internet Observatory, Stamos também já foi chefe de segurança do Facebook e do Yahoo!.

Como a IA piora o problema

Todos os problemas estão prestes a ser agravados por um ataque de conteúdo sexual infantil gerado por IA. No ano passado, o grupo sem fins lucrativos de segurança infantil Thorn informou que está observando uma proliferação dessas imagens online em meio a uma “corrida armamentista predatória” em fóruns de pedófilos.

Embora o setor de tecnologia tenha desenvolvido bancos de dados para detectar exemplos conhecidos de CSAM, os pedófilos agora podem usar a IA para gerar novos exemplos quase instantaneamente. Em parte, isso pode ser devido ao fato de que os principais geradores de imagens de IA foram treinados em CSAM reais, conforme relatado pelo Stanford Internet Observatory em dezembro.

Quando as plataformas online tomam conhecimento do CSAM, elas são obrigadas, de acordo com a lei federal, a informar o fato à CyberTipline para que seja apurado e encaminhado às autoridades competentes. Mas a lei não exige que as plataformas online procurem o CSAM em primeiro lugar. E as proteções constitucionais contra buscas sem mandado restringem a capacidade do governo ou do NCMEC de pressionar as empresas de tecnologia a fazer isso.

Para resolver esses problemas, o relatório pede ao Congresso que aumente o orçamento do centro, esclareça como as empresas de tecnologia podem lidar e relatar o CSAM sem se expor a responsabilidades e esclareça as leis sobre o CSAM gerado por IA. Ele também pede que as empresas de tecnologia invistam mais na detecção e na denúncia cuidadosa de CSAM, faz recomendações para que o NCMEC aprimore sua tecnologia e pede que as autoridades policiais treinem seus agentes para investigar denúncias de CSAM.

Em teoria, as empresas de tecnologia poderiam ajudar a gerenciar o influxo de AI CSAM trabalhando para identificá-lo e diferenciá-lo em seus relatórios, afirma Riana Pfefferkorn, pesquisadora do Stanford Internet Observatory que coescreveu o relatório. Mas, no sistema atual, não há “nenhum incentivo para a plataforma procurar”.

Embora o relatório de Stanford não endosse a Lei de Segurança Online para Crianças, suas recomendações incluem várias das disposições da Lei do Relatório, cujo foco é mais restrito à denúncia de CSAM. O Senado americano aprovou a Lei do Relatório em dezembro e ela aguarda uma ação na Câmara.

Em uma declaração na última segunda-feira, o Center for Missing and Exploited Children (Centro para Crianças Desaparecidas e Exploradas) disse que aprecia a “consideração completa dos desafios inerentes enfrentados por Stanford”. A organização disse que está ansiosa para explorar as recomendações do relatório.

Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.

O sistema dos EUA para rastrear e processar as pessoas que exploram sexualmente crianças online está sobrecarregado e com problemas, segundo um novo relatório — e a inteligência artificial (IA) está prestes a piorar muito o problema.

O relatório da Stanford Internet Observatory examina detalhadamente o CyberTipline, um órgão autorizado pelo governo americano para denúncias de material de abuso sexual infantil online, conhecido como CSAM, na sigla em inglês. A central recebe dezenas de milhões de denúncias anualmente de plataformas como Facebook, Snapchat e TikTok, e as encaminha para as agências responsáveis, às vezes levando a processos que podem desarticular redes de pedofilia e de tráfico sexual.

O pai de uma vítima de abuso infantil online participa de uma entrevista coletiva no Capitólio após uma audiência em 31 de janeiro sobre a proteção de crianças online Foto: Haiyun Jiang/The Washington Post

Porém, apenas de 5% a 8% dessas denúncias resultam em prisões, segundo o relatório, devido à falta de financiamento, restrições legais e uma série de deficiências no processo de denúncia, priorização e investigação. Se essas limitações não forem resolvidas em breve, alertam os autores, o sistema poderá se tornar impraticável, pois os mais recentes geradores de imagens de IA liberam um dilúvio de imagens sexuais de crianças virtuais que são cada vez mais “indistinguíveis de fotos reais de crianças”.

“Essas rachaduras se tornarão abismos em um mundo no qual a IA está gerando CSAM totalmente novo”, diz Alex Stamos, especialista em segurança cibernética da Universidade Stanford, coautor do relatório. Embora a pornografia infantil gerada por computador apresente seus próprios problemas, ele afirma que o maior risco é que “o CSAM de IA vai enterrar o conteúdo real de abuso sexual”, desviando recursos de crianças reais que precisam de resgate.

O relatório se soma a um crescente clamor sobre a proliferação de CSAM, que pode arruinar a vida de crianças, e a probabilidade de que as ferramentas de IA geradoras exacerbem o problema. Isso ocorre no momento em que o Congresso dos EUA está considerando um conjunto de projetos de lei destinados a proteger as crianças online, depois que os senadores questionaram os CEOs de tecnologia em uma audiência em janeiro.

Entre eles está o Kids Online Safety Act, que exigiria novos requisitos abrangentes às empresas de tecnologia para mitigar uma série de possíveis danos aos jovens usuários. Alguns defensores da segurança infantil também estão pressionando por mudanças na proteção de responsabilidade da Seção 230, dos Estados Unidos, para plataformas online. Embora suas descobertas pareçam dar mais urgência a essa pressão legislativa, os autores do relatório de Stanford concentraram suas recomendações no reforço do atual sistema de denúncias, em vez de reprimir as plataformas online.

“Há muito investimento que poderia ser feito apenas para melhorar o sistema atual antes de se fazer qualquer coisa que invada a privacidade”, como aprovar leis que obriguem as plataformas online a procurar CSAM ou exigir “portas traseiras” para a aplicação da lei em aplicativos de mensagens criptografadas, disse Stamos. Ex-diretor do Stanford Internet Observatory, Stamos também já foi chefe de segurança do Facebook e do Yahoo!.

Como a IA piora o problema

Todos os problemas estão prestes a ser agravados por um ataque de conteúdo sexual infantil gerado por IA. No ano passado, o grupo sem fins lucrativos de segurança infantil Thorn informou que está observando uma proliferação dessas imagens online em meio a uma “corrida armamentista predatória” em fóruns de pedófilos.

Embora o setor de tecnologia tenha desenvolvido bancos de dados para detectar exemplos conhecidos de CSAM, os pedófilos agora podem usar a IA para gerar novos exemplos quase instantaneamente. Em parte, isso pode ser devido ao fato de que os principais geradores de imagens de IA foram treinados em CSAM reais, conforme relatado pelo Stanford Internet Observatory em dezembro.

Quando as plataformas online tomam conhecimento do CSAM, elas são obrigadas, de acordo com a lei federal, a informar o fato à CyberTipline para que seja apurado e encaminhado às autoridades competentes. Mas a lei não exige que as plataformas online procurem o CSAM em primeiro lugar. E as proteções constitucionais contra buscas sem mandado restringem a capacidade do governo ou do NCMEC de pressionar as empresas de tecnologia a fazer isso.

Para resolver esses problemas, o relatório pede ao Congresso que aumente o orçamento do centro, esclareça como as empresas de tecnologia podem lidar e relatar o CSAM sem se expor a responsabilidades e esclareça as leis sobre o CSAM gerado por IA. Ele também pede que as empresas de tecnologia invistam mais na detecção e na denúncia cuidadosa de CSAM, faz recomendações para que o NCMEC aprimore sua tecnologia e pede que as autoridades policiais treinem seus agentes para investigar denúncias de CSAM.

Em teoria, as empresas de tecnologia poderiam ajudar a gerenciar o influxo de AI CSAM trabalhando para identificá-lo e diferenciá-lo em seus relatórios, afirma Riana Pfefferkorn, pesquisadora do Stanford Internet Observatory que coescreveu o relatório. Mas, no sistema atual, não há “nenhum incentivo para a plataforma procurar”.

Embora o relatório de Stanford não endosse a Lei de Segurança Online para Crianças, suas recomendações incluem várias das disposições da Lei do Relatório, cujo foco é mais restrito à denúncia de CSAM. O Senado americano aprovou a Lei do Relatório em dezembro e ela aguarda uma ação na Câmara.

Em uma declaração na última segunda-feira, o Center for Missing and Exploited Children (Centro para Crianças Desaparecidas e Exploradas) disse que aprecia a “consideração completa dos desafios inerentes enfrentados por Stanford”. A organização disse que está ansiosa para explorar as recomendações do relatório.

Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.