Deepfakes: empresas de tecnologia correm para combater imagens geradas por suas próprias IAs


Soluções como marcas d’água que não podem ser alteradas entraram nos planos das empresas de tecnologia

Por Gerrit De Vynck

WASHINGTON POST - As imagens geradas por inteligência artificial (IA) estão se tornando mais difíceis de distinguir das reais à medida que as empresas de tecnologia correm para aprimorar seus produtos. E, com a campanha presidencial americana se aproximando, em 2024, cresce rapidamente a preocupação de que essas imagens possam ser usadas para divulgar informações falsas.

Na terça-feira, 29, o Google anunciou uma nova ferramenta - chamada SynthID - que, segundo a empresa, pode ser parte da solução. O recurso incorpora uma “marca d’água” digital diretamente na imagem, que não pode ser vista pelo olho humano, mas pode ser detectada por um computador treinado para lê-la. O Google disse que sua nova tecnologia de marca d’água é resistente à adulteração, o que a torna um passo fundamental para policiar a disseminação de imagens falsas e diminuir a desinformação.

Os geradores de imagens com IA estão disponíveis há vários anos e têm sido cada vez mais usados para criar “deepfakes”, ou seja, imagens falsas que parecem ser reais. Em março, imagens falsas de IA do ex-presidente Donald Trump fugindo da polícia se tornaram virais online e, em maio, uma imagem falsa mostrando uma explosão no Pentágono causou uma queda momentânea nos mercados de ações. As empresas colocaram logotipos visíveis nas imagens de IA, bem como anexaram “metadados” de texto indicando a origem de uma imagem, mas ambas as técnicas podem ser cortadas ou editadas com facilidade.

continua após a publicidade

“É evidente que o gênio já saiu da garrafa”, disse em uma entrevista a deputada Yvette D. Clarke (Partido Democrata), que promoveu uma legislação que exige que as empresas coloquem marcas d’água em suas imagens de IA.

Imagens falsas de IA do ex-presidente Donald Trump fugindo da polícia se tornaram virais nas redes Foto: Elliot Higgins/Reprodução/Twitter

Por enquanto, a ferramenta do Google está disponível apenas para alguns clientes pagantes de seu serviço de computação em nuvem - e funciona apenas com imagens que foram feitas com o programa de geração de imagens da companhia. A empresa afirma que não está exigindo que os clientes a utilizem porque ela ainda é experimental.

continua após a publicidade

O objetivo final é ajudar a criar um sistema em que a maioria das imagens criadas por IA possa ser facilmente identificada usando marcas d’água incorporadas, disse Pushmeet Kohli, vice-presidente de pesquisa do Google DeepMind, o laboratório de IA da empresa, que advertiu que a nova ferramenta não é totalmente infalível. “A questão é: temos a tecnologia para chegar lá?”

Credibilidade

À medida que a IA se aprimora na criação de imagens e vídeos, políticos, pesquisadores e jornalistas estão preocupados com o fato de que a linha entre o que é real e o que é falso online será ainda mais desgastada, uma dinâmica que pode aprofundar as divisões políticas existentes e dificultar a divulgação de informações factuais.

continua após a publicidade

A marca d’água é uma das ideias que as empresas de tecnologia estão defendendo como uma possível maneira de diminuir o impacto negativo da tecnologia de IA “generativa” que elas próprias estão distribuindo rapidamente para milhões de pessoas. Em julho, a Casa Branca organizou uma reunião com os líderes de sete das mais poderosas empresas de IA, incluindo o Google e a OpenAI, dona do ChatGPT. Todas as empresas se comprometeram a criar ferramentas para colocar marcas d’água e detectar textos, vídeos e imagens gerados por IA.

A Microsoft iniciou uma coalizão de empresas de tecnologia e mídia para desenvolver um padrão comum para a marca d’água de imagens de IA, e afirmou que está pesquisando novos métodos para rastrear essas criações. A companhia também coloca uma pequena marca d’água visível no canto das imagens geradas por suas ferramentas de IA. A OpenAI, cujo gerador de imagens Dall-E ajudou a dar início à onda de interesse em IA no ano passado, também adiciona uma marca d’água visível. Os pesquisadores de IA sugeriram maneiras de incorporar marcas d’água digitais que o olho humano não consegue ver, mas que podem ser identificadas por um computador.

Kohli, o executivo do Google, disse que a nova ferramenta da empresa é melhor porque funciona mesmo depois que a imagem foi significativamente alterada - uma melhoria importante em relação aos métodos anteriores que poderiam ser facilmente frustrados pela modificação ou até mesmo pela inversão de uma imagem.

continua após a publicidade

“Há outras técnicas disponíveis para marcas d’água incorporadas, mas não acreditamos que sejam tão confiáveis”, disse ele.

Imagem com Papa Francisco usando acessórios da última moda foi criada pela ferramenta de inteligência artificial Midjourney Foto: Reprodução/Midjourney

Dificuldades

continua após a publicidade

Mesmo que outras grandes empresas de IA, como a Microsoft e a OpenAI, desenvolvam ferramentas semelhantes e as redes de mídia social as implementem, as imagens feitas com geradores de IA de código aberto ainda seriam indetectáveis. Ferramentas de código aberto, como as criadas pela startup de IA Stability AI, que podem ser modificadas e usadas por qualquer pessoa, já estão sendo usadas para criar imagens sexuais não consensuais de pessoas reais, bem como para criar novos materiais de exploração sexual infantil.

“Nos últimos nove meses a um ano, vimos esse aumento maciço de deepfakes”, disse Dan Purcell, fundador da Ceartas, uma empresa que ajuda os criadores de conteúdo online a identificar se seu conteúdo está sendo compartilhado sem sua permissão. No passado, os principais clientes da empresa eram criadores de conteúdo adulto que tentavam impedir que seus vídeos e imagens fossem compartilhados de forma ilícita. Porém, mais recentemente, Purcell tem recebido solicitações de pessoas que tiveram suas imagens de mídia social usadas para fazer pornografia gerada por IA contra sua vontade.

À medida que os Estados Unidos se aproximam da eleição presidencial de 2024, há uma pressão crescente para desenvolver ferramentas para identificar e impedir imagens falsas de IA. Os políticos já estão usando as ferramentas em seus anúncios de campanha. Em junho, a campanha do governador da Flórida, Ron DeSantis, lançou um vídeo que incluía imagens falsas de Donald Trump abraçando o ex-conselheiro de coronavírus da Casa Branca, Anthony S. Fauci.

continua após a publicidade

As eleições dos EUA sempre apresentaram propaganda, mentiras e exageros nos anúncios oficiais de campanha, mas pesquisadores, ativistas da democracia e alguns políticos estão preocupados com o fato de que as imagens geradas por IA, combinadas com publicidade direcionada e redes de mídia social, facilitarão a divulgação de informações falsas e enganarão os eleitores.

“Isso pode ser algo tão simples quanto divulgar uma representação visual de um local de votação essencial que foi fechado”, disse Clarke, a congressista democrata. “Pode ser algo que crie pânico entre o público, retratando algum tipo de situação violenta e gerando medo.”

Observar atentamente uma imagem da Dall-E ou da Imagen, do Google, geralmente revela alguma inconsistência ou característica bizarra, como o fato de uma pessoa ter muitos dedos ou o fundo se confundir com o objeto da foto. Mas os geradores de imagens falsas “com certeza, 100% ficarão cada vez melhores”, disse Dor Leitman, chefe de produto, pesquisa e desenvolvimento da Connatix, uma empresa que cria ferramentas que ajudam os profissionais de marketing a usar a IA para editar e gerar vídeos.

A dinâmica será semelhante à forma como as empresas de segurança cibernética estão envolvidas em uma corrida armamentista interminável com os hackers que tentam encontrar uma maneira de superar proteções mais novas e melhores, disse Leitman. “É uma batalha contínua”.

Aqueles que querem usar imagens falsas para enganar as pessoas também continuarão encontrando maneiras de confundir as ferramentas de detecção de deepfake. Kohli disse que esse é o motivo pelo qual o Google não está compartilhando a pesquisa subjacente à sua tecnologia de marca d’água. “Se as pessoas souberem como fizemos isso, elas tentarão atacá-la”, disse ele.

WASHINGTON POST - As imagens geradas por inteligência artificial (IA) estão se tornando mais difíceis de distinguir das reais à medida que as empresas de tecnologia correm para aprimorar seus produtos. E, com a campanha presidencial americana se aproximando, em 2024, cresce rapidamente a preocupação de que essas imagens possam ser usadas para divulgar informações falsas.

Na terça-feira, 29, o Google anunciou uma nova ferramenta - chamada SynthID - que, segundo a empresa, pode ser parte da solução. O recurso incorpora uma “marca d’água” digital diretamente na imagem, que não pode ser vista pelo olho humano, mas pode ser detectada por um computador treinado para lê-la. O Google disse que sua nova tecnologia de marca d’água é resistente à adulteração, o que a torna um passo fundamental para policiar a disseminação de imagens falsas e diminuir a desinformação.

Os geradores de imagens com IA estão disponíveis há vários anos e têm sido cada vez mais usados para criar “deepfakes”, ou seja, imagens falsas que parecem ser reais. Em março, imagens falsas de IA do ex-presidente Donald Trump fugindo da polícia se tornaram virais online e, em maio, uma imagem falsa mostrando uma explosão no Pentágono causou uma queda momentânea nos mercados de ações. As empresas colocaram logotipos visíveis nas imagens de IA, bem como anexaram “metadados” de texto indicando a origem de uma imagem, mas ambas as técnicas podem ser cortadas ou editadas com facilidade.

“É evidente que o gênio já saiu da garrafa”, disse em uma entrevista a deputada Yvette D. Clarke (Partido Democrata), que promoveu uma legislação que exige que as empresas coloquem marcas d’água em suas imagens de IA.

Imagens falsas de IA do ex-presidente Donald Trump fugindo da polícia se tornaram virais nas redes Foto: Elliot Higgins/Reprodução/Twitter

Por enquanto, a ferramenta do Google está disponível apenas para alguns clientes pagantes de seu serviço de computação em nuvem - e funciona apenas com imagens que foram feitas com o programa de geração de imagens da companhia. A empresa afirma que não está exigindo que os clientes a utilizem porque ela ainda é experimental.

O objetivo final é ajudar a criar um sistema em que a maioria das imagens criadas por IA possa ser facilmente identificada usando marcas d’água incorporadas, disse Pushmeet Kohli, vice-presidente de pesquisa do Google DeepMind, o laboratório de IA da empresa, que advertiu que a nova ferramenta não é totalmente infalível. “A questão é: temos a tecnologia para chegar lá?”

Credibilidade

À medida que a IA se aprimora na criação de imagens e vídeos, políticos, pesquisadores e jornalistas estão preocupados com o fato de que a linha entre o que é real e o que é falso online será ainda mais desgastada, uma dinâmica que pode aprofundar as divisões políticas existentes e dificultar a divulgação de informações factuais.

A marca d’água é uma das ideias que as empresas de tecnologia estão defendendo como uma possível maneira de diminuir o impacto negativo da tecnologia de IA “generativa” que elas próprias estão distribuindo rapidamente para milhões de pessoas. Em julho, a Casa Branca organizou uma reunião com os líderes de sete das mais poderosas empresas de IA, incluindo o Google e a OpenAI, dona do ChatGPT. Todas as empresas se comprometeram a criar ferramentas para colocar marcas d’água e detectar textos, vídeos e imagens gerados por IA.

A Microsoft iniciou uma coalizão de empresas de tecnologia e mídia para desenvolver um padrão comum para a marca d’água de imagens de IA, e afirmou que está pesquisando novos métodos para rastrear essas criações. A companhia também coloca uma pequena marca d’água visível no canto das imagens geradas por suas ferramentas de IA. A OpenAI, cujo gerador de imagens Dall-E ajudou a dar início à onda de interesse em IA no ano passado, também adiciona uma marca d’água visível. Os pesquisadores de IA sugeriram maneiras de incorporar marcas d’água digitais que o olho humano não consegue ver, mas que podem ser identificadas por um computador.

Kohli, o executivo do Google, disse que a nova ferramenta da empresa é melhor porque funciona mesmo depois que a imagem foi significativamente alterada - uma melhoria importante em relação aos métodos anteriores que poderiam ser facilmente frustrados pela modificação ou até mesmo pela inversão de uma imagem.

“Há outras técnicas disponíveis para marcas d’água incorporadas, mas não acreditamos que sejam tão confiáveis”, disse ele.

Imagem com Papa Francisco usando acessórios da última moda foi criada pela ferramenta de inteligência artificial Midjourney Foto: Reprodução/Midjourney

Dificuldades

Mesmo que outras grandes empresas de IA, como a Microsoft e a OpenAI, desenvolvam ferramentas semelhantes e as redes de mídia social as implementem, as imagens feitas com geradores de IA de código aberto ainda seriam indetectáveis. Ferramentas de código aberto, como as criadas pela startup de IA Stability AI, que podem ser modificadas e usadas por qualquer pessoa, já estão sendo usadas para criar imagens sexuais não consensuais de pessoas reais, bem como para criar novos materiais de exploração sexual infantil.

“Nos últimos nove meses a um ano, vimos esse aumento maciço de deepfakes”, disse Dan Purcell, fundador da Ceartas, uma empresa que ajuda os criadores de conteúdo online a identificar se seu conteúdo está sendo compartilhado sem sua permissão. No passado, os principais clientes da empresa eram criadores de conteúdo adulto que tentavam impedir que seus vídeos e imagens fossem compartilhados de forma ilícita. Porém, mais recentemente, Purcell tem recebido solicitações de pessoas que tiveram suas imagens de mídia social usadas para fazer pornografia gerada por IA contra sua vontade.

À medida que os Estados Unidos se aproximam da eleição presidencial de 2024, há uma pressão crescente para desenvolver ferramentas para identificar e impedir imagens falsas de IA. Os políticos já estão usando as ferramentas em seus anúncios de campanha. Em junho, a campanha do governador da Flórida, Ron DeSantis, lançou um vídeo que incluía imagens falsas de Donald Trump abraçando o ex-conselheiro de coronavírus da Casa Branca, Anthony S. Fauci.

As eleições dos EUA sempre apresentaram propaganda, mentiras e exageros nos anúncios oficiais de campanha, mas pesquisadores, ativistas da democracia e alguns políticos estão preocupados com o fato de que as imagens geradas por IA, combinadas com publicidade direcionada e redes de mídia social, facilitarão a divulgação de informações falsas e enganarão os eleitores.

“Isso pode ser algo tão simples quanto divulgar uma representação visual de um local de votação essencial que foi fechado”, disse Clarke, a congressista democrata. “Pode ser algo que crie pânico entre o público, retratando algum tipo de situação violenta e gerando medo.”

Observar atentamente uma imagem da Dall-E ou da Imagen, do Google, geralmente revela alguma inconsistência ou característica bizarra, como o fato de uma pessoa ter muitos dedos ou o fundo se confundir com o objeto da foto. Mas os geradores de imagens falsas “com certeza, 100% ficarão cada vez melhores”, disse Dor Leitman, chefe de produto, pesquisa e desenvolvimento da Connatix, uma empresa que cria ferramentas que ajudam os profissionais de marketing a usar a IA para editar e gerar vídeos.

A dinâmica será semelhante à forma como as empresas de segurança cibernética estão envolvidas em uma corrida armamentista interminável com os hackers que tentam encontrar uma maneira de superar proteções mais novas e melhores, disse Leitman. “É uma batalha contínua”.

Aqueles que querem usar imagens falsas para enganar as pessoas também continuarão encontrando maneiras de confundir as ferramentas de detecção de deepfake. Kohli disse que esse é o motivo pelo qual o Google não está compartilhando a pesquisa subjacente à sua tecnologia de marca d’água. “Se as pessoas souberem como fizemos isso, elas tentarão atacá-la”, disse ele.

WASHINGTON POST - As imagens geradas por inteligência artificial (IA) estão se tornando mais difíceis de distinguir das reais à medida que as empresas de tecnologia correm para aprimorar seus produtos. E, com a campanha presidencial americana se aproximando, em 2024, cresce rapidamente a preocupação de que essas imagens possam ser usadas para divulgar informações falsas.

Na terça-feira, 29, o Google anunciou uma nova ferramenta - chamada SynthID - que, segundo a empresa, pode ser parte da solução. O recurso incorpora uma “marca d’água” digital diretamente na imagem, que não pode ser vista pelo olho humano, mas pode ser detectada por um computador treinado para lê-la. O Google disse que sua nova tecnologia de marca d’água é resistente à adulteração, o que a torna um passo fundamental para policiar a disseminação de imagens falsas e diminuir a desinformação.

Os geradores de imagens com IA estão disponíveis há vários anos e têm sido cada vez mais usados para criar “deepfakes”, ou seja, imagens falsas que parecem ser reais. Em março, imagens falsas de IA do ex-presidente Donald Trump fugindo da polícia se tornaram virais online e, em maio, uma imagem falsa mostrando uma explosão no Pentágono causou uma queda momentânea nos mercados de ações. As empresas colocaram logotipos visíveis nas imagens de IA, bem como anexaram “metadados” de texto indicando a origem de uma imagem, mas ambas as técnicas podem ser cortadas ou editadas com facilidade.

“É evidente que o gênio já saiu da garrafa”, disse em uma entrevista a deputada Yvette D. Clarke (Partido Democrata), que promoveu uma legislação que exige que as empresas coloquem marcas d’água em suas imagens de IA.

Imagens falsas de IA do ex-presidente Donald Trump fugindo da polícia se tornaram virais nas redes Foto: Elliot Higgins/Reprodução/Twitter

Por enquanto, a ferramenta do Google está disponível apenas para alguns clientes pagantes de seu serviço de computação em nuvem - e funciona apenas com imagens que foram feitas com o programa de geração de imagens da companhia. A empresa afirma que não está exigindo que os clientes a utilizem porque ela ainda é experimental.

O objetivo final é ajudar a criar um sistema em que a maioria das imagens criadas por IA possa ser facilmente identificada usando marcas d’água incorporadas, disse Pushmeet Kohli, vice-presidente de pesquisa do Google DeepMind, o laboratório de IA da empresa, que advertiu que a nova ferramenta não é totalmente infalível. “A questão é: temos a tecnologia para chegar lá?”

Credibilidade

À medida que a IA se aprimora na criação de imagens e vídeos, políticos, pesquisadores e jornalistas estão preocupados com o fato de que a linha entre o que é real e o que é falso online será ainda mais desgastada, uma dinâmica que pode aprofundar as divisões políticas existentes e dificultar a divulgação de informações factuais.

A marca d’água é uma das ideias que as empresas de tecnologia estão defendendo como uma possível maneira de diminuir o impacto negativo da tecnologia de IA “generativa” que elas próprias estão distribuindo rapidamente para milhões de pessoas. Em julho, a Casa Branca organizou uma reunião com os líderes de sete das mais poderosas empresas de IA, incluindo o Google e a OpenAI, dona do ChatGPT. Todas as empresas se comprometeram a criar ferramentas para colocar marcas d’água e detectar textos, vídeos e imagens gerados por IA.

A Microsoft iniciou uma coalizão de empresas de tecnologia e mídia para desenvolver um padrão comum para a marca d’água de imagens de IA, e afirmou que está pesquisando novos métodos para rastrear essas criações. A companhia também coloca uma pequena marca d’água visível no canto das imagens geradas por suas ferramentas de IA. A OpenAI, cujo gerador de imagens Dall-E ajudou a dar início à onda de interesse em IA no ano passado, também adiciona uma marca d’água visível. Os pesquisadores de IA sugeriram maneiras de incorporar marcas d’água digitais que o olho humano não consegue ver, mas que podem ser identificadas por um computador.

Kohli, o executivo do Google, disse que a nova ferramenta da empresa é melhor porque funciona mesmo depois que a imagem foi significativamente alterada - uma melhoria importante em relação aos métodos anteriores que poderiam ser facilmente frustrados pela modificação ou até mesmo pela inversão de uma imagem.

“Há outras técnicas disponíveis para marcas d’água incorporadas, mas não acreditamos que sejam tão confiáveis”, disse ele.

Imagem com Papa Francisco usando acessórios da última moda foi criada pela ferramenta de inteligência artificial Midjourney Foto: Reprodução/Midjourney

Dificuldades

Mesmo que outras grandes empresas de IA, como a Microsoft e a OpenAI, desenvolvam ferramentas semelhantes e as redes de mídia social as implementem, as imagens feitas com geradores de IA de código aberto ainda seriam indetectáveis. Ferramentas de código aberto, como as criadas pela startup de IA Stability AI, que podem ser modificadas e usadas por qualquer pessoa, já estão sendo usadas para criar imagens sexuais não consensuais de pessoas reais, bem como para criar novos materiais de exploração sexual infantil.

“Nos últimos nove meses a um ano, vimos esse aumento maciço de deepfakes”, disse Dan Purcell, fundador da Ceartas, uma empresa que ajuda os criadores de conteúdo online a identificar se seu conteúdo está sendo compartilhado sem sua permissão. No passado, os principais clientes da empresa eram criadores de conteúdo adulto que tentavam impedir que seus vídeos e imagens fossem compartilhados de forma ilícita. Porém, mais recentemente, Purcell tem recebido solicitações de pessoas que tiveram suas imagens de mídia social usadas para fazer pornografia gerada por IA contra sua vontade.

À medida que os Estados Unidos se aproximam da eleição presidencial de 2024, há uma pressão crescente para desenvolver ferramentas para identificar e impedir imagens falsas de IA. Os políticos já estão usando as ferramentas em seus anúncios de campanha. Em junho, a campanha do governador da Flórida, Ron DeSantis, lançou um vídeo que incluía imagens falsas de Donald Trump abraçando o ex-conselheiro de coronavírus da Casa Branca, Anthony S. Fauci.

As eleições dos EUA sempre apresentaram propaganda, mentiras e exageros nos anúncios oficiais de campanha, mas pesquisadores, ativistas da democracia e alguns políticos estão preocupados com o fato de que as imagens geradas por IA, combinadas com publicidade direcionada e redes de mídia social, facilitarão a divulgação de informações falsas e enganarão os eleitores.

“Isso pode ser algo tão simples quanto divulgar uma representação visual de um local de votação essencial que foi fechado”, disse Clarke, a congressista democrata. “Pode ser algo que crie pânico entre o público, retratando algum tipo de situação violenta e gerando medo.”

Observar atentamente uma imagem da Dall-E ou da Imagen, do Google, geralmente revela alguma inconsistência ou característica bizarra, como o fato de uma pessoa ter muitos dedos ou o fundo se confundir com o objeto da foto. Mas os geradores de imagens falsas “com certeza, 100% ficarão cada vez melhores”, disse Dor Leitman, chefe de produto, pesquisa e desenvolvimento da Connatix, uma empresa que cria ferramentas que ajudam os profissionais de marketing a usar a IA para editar e gerar vídeos.

A dinâmica será semelhante à forma como as empresas de segurança cibernética estão envolvidas em uma corrida armamentista interminável com os hackers que tentam encontrar uma maneira de superar proteções mais novas e melhores, disse Leitman. “É uma batalha contínua”.

Aqueles que querem usar imagens falsas para enganar as pessoas também continuarão encontrando maneiras de confundir as ferramentas de detecção de deepfake. Kohli disse que esse é o motivo pelo qual o Google não está compartilhando a pesquisa subjacente à sua tecnologia de marca d’água. “Se as pessoas souberem como fizemos isso, elas tentarão atacá-la”, disse ele.

WASHINGTON POST - As imagens geradas por inteligência artificial (IA) estão se tornando mais difíceis de distinguir das reais à medida que as empresas de tecnologia correm para aprimorar seus produtos. E, com a campanha presidencial americana se aproximando, em 2024, cresce rapidamente a preocupação de que essas imagens possam ser usadas para divulgar informações falsas.

Na terça-feira, 29, o Google anunciou uma nova ferramenta - chamada SynthID - que, segundo a empresa, pode ser parte da solução. O recurso incorpora uma “marca d’água” digital diretamente na imagem, que não pode ser vista pelo olho humano, mas pode ser detectada por um computador treinado para lê-la. O Google disse que sua nova tecnologia de marca d’água é resistente à adulteração, o que a torna um passo fundamental para policiar a disseminação de imagens falsas e diminuir a desinformação.

Os geradores de imagens com IA estão disponíveis há vários anos e têm sido cada vez mais usados para criar “deepfakes”, ou seja, imagens falsas que parecem ser reais. Em março, imagens falsas de IA do ex-presidente Donald Trump fugindo da polícia se tornaram virais online e, em maio, uma imagem falsa mostrando uma explosão no Pentágono causou uma queda momentânea nos mercados de ações. As empresas colocaram logotipos visíveis nas imagens de IA, bem como anexaram “metadados” de texto indicando a origem de uma imagem, mas ambas as técnicas podem ser cortadas ou editadas com facilidade.

“É evidente que o gênio já saiu da garrafa”, disse em uma entrevista a deputada Yvette D. Clarke (Partido Democrata), que promoveu uma legislação que exige que as empresas coloquem marcas d’água em suas imagens de IA.

Imagens falsas de IA do ex-presidente Donald Trump fugindo da polícia se tornaram virais nas redes Foto: Elliot Higgins/Reprodução/Twitter

Por enquanto, a ferramenta do Google está disponível apenas para alguns clientes pagantes de seu serviço de computação em nuvem - e funciona apenas com imagens que foram feitas com o programa de geração de imagens da companhia. A empresa afirma que não está exigindo que os clientes a utilizem porque ela ainda é experimental.

O objetivo final é ajudar a criar um sistema em que a maioria das imagens criadas por IA possa ser facilmente identificada usando marcas d’água incorporadas, disse Pushmeet Kohli, vice-presidente de pesquisa do Google DeepMind, o laboratório de IA da empresa, que advertiu que a nova ferramenta não é totalmente infalível. “A questão é: temos a tecnologia para chegar lá?”

Credibilidade

À medida que a IA se aprimora na criação de imagens e vídeos, políticos, pesquisadores e jornalistas estão preocupados com o fato de que a linha entre o que é real e o que é falso online será ainda mais desgastada, uma dinâmica que pode aprofundar as divisões políticas existentes e dificultar a divulgação de informações factuais.

A marca d’água é uma das ideias que as empresas de tecnologia estão defendendo como uma possível maneira de diminuir o impacto negativo da tecnologia de IA “generativa” que elas próprias estão distribuindo rapidamente para milhões de pessoas. Em julho, a Casa Branca organizou uma reunião com os líderes de sete das mais poderosas empresas de IA, incluindo o Google e a OpenAI, dona do ChatGPT. Todas as empresas se comprometeram a criar ferramentas para colocar marcas d’água e detectar textos, vídeos e imagens gerados por IA.

A Microsoft iniciou uma coalizão de empresas de tecnologia e mídia para desenvolver um padrão comum para a marca d’água de imagens de IA, e afirmou que está pesquisando novos métodos para rastrear essas criações. A companhia também coloca uma pequena marca d’água visível no canto das imagens geradas por suas ferramentas de IA. A OpenAI, cujo gerador de imagens Dall-E ajudou a dar início à onda de interesse em IA no ano passado, também adiciona uma marca d’água visível. Os pesquisadores de IA sugeriram maneiras de incorporar marcas d’água digitais que o olho humano não consegue ver, mas que podem ser identificadas por um computador.

Kohli, o executivo do Google, disse que a nova ferramenta da empresa é melhor porque funciona mesmo depois que a imagem foi significativamente alterada - uma melhoria importante em relação aos métodos anteriores que poderiam ser facilmente frustrados pela modificação ou até mesmo pela inversão de uma imagem.

“Há outras técnicas disponíveis para marcas d’água incorporadas, mas não acreditamos que sejam tão confiáveis”, disse ele.

Imagem com Papa Francisco usando acessórios da última moda foi criada pela ferramenta de inteligência artificial Midjourney Foto: Reprodução/Midjourney

Dificuldades

Mesmo que outras grandes empresas de IA, como a Microsoft e a OpenAI, desenvolvam ferramentas semelhantes e as redes de mídia social as implementem, as imagens feitas com geradores de IA de código aberto ainda seriam indetectáveis. Ferramentas de código aberto, como as criadas pela startup de IA Stability AI, que podem ser modificadas e usadas por qualquer pessoa, já estão sendo usadas para criar imagens sexuais não consensuais de pessoas reais, bem como para criar novos materiais de exploração sexual infantil.

“Nos últimos nove meses a um ano, vimos esse aumento maciço de deepfakes”, disse Dan Purcell, fundador da Ceartas, uma empresa que ajuda os criadores de conteúdo online a identificar se seu conteúdo está sendo compartilhado sem sua permissão. No passado, os principais clientes da empresa eram criadores de conteúdo adulto que tentavam impedir que seus vídeos e imagens fossem compartilhados de forma ilícita. Porém, mais recentemente, Purcell tem recebido solicitações de pessoas que tiveram suas imagens de mídia social usadas para fazer pornografia gerada por IA contra sua vontade.

À medida que os Estados Unidos se aproximam da eleição presidencial de 2024, há uma pressão crescente para desenvolver ferramentas para identificar e impedir imagens falsas de IA. Os políticos já estão usando as ferramentas em seus anúncios de campanha. Em junho, a campanha do governador da Flórida, Ron DeSantis, lançou um vídeo que incluía imagens falsas de Donald Trump abraçando o ex-conselheiro de coronavírus da Casa Branca, Anthony S. Fauci.

As eleições dos EUA sempre apresentaram propaganda, mentiras e exageros nos anúncios oficiais de campanha, mas pesquisadores, ativistas da democracia e alguns políticos estão preocupados com o fato de que as imagens geradas por IA, combinadas com publicidade direcionada e redes de mídia social, facilitarão a divulgação de informações falsas e enganarão os eleitores.

“Isso pode ser algo tão simples quanto divulgar uma representação visual de um local de votação essencial que foi fechado”, disse Clarke, a congressista democrata. “Pode ser algo que crie pânico entre o público, retratando algum tipo de situação violenta e gerando medo.”

Observar atentamente uma imagem da Dall-E ou da Imagen, do Google, geralmente revela alguma inconsistência ou característica bizarra, como o fato de uma pessoa ter muitos dedos ou o fundo se confundir com o objeto da foto. Mas os geradores de imagens falsas “com certeza, 100% ficarão cada vez melhores”, disse Dor Leitman, chefe de produto, pesquisa e desenvolvimento da Connatix, uma empresa que cria ferramentas que ajudam os profissionais de marketing a usar a IA para editar e gerar vídeos.

A dinâmica será semelhante à forma como as empresas de segurança cibernética estão envolvidas em uma corrida armamentista interminável com os hackers que tentam encontrar uma maneira de superar proteções mais novas e melhores, disse Leitman. “É uma batalha contínua”.

Aqueles que querem usar imagens falsas para enganar as pessoas também continuarão encontrando maneiras de confundir as ferramentas de detecção de deepfake. Kohli disse que esse é o motivo pelo qual o Google não está compartilhando a pesquisa subjacente à sua tecnologia de marca d’água. “Se as pessoas souberem como fizemos isso, elas tentarão atacá-la”, disse ele.

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.