Em junho, enquanto as principais autoridades de segurança nacional e inteligência dos EUA se preparavam para a corrida presidencial do país, um novo funcionário da OpenAI foi levado a Washington para informá-los sobre um perigo emergente do exterior.
Ben Nimmo, o principal investigador de ameaças em inteligência artificial (IA), havia descoberto evidências de que a Rússia, a China e outros países estavam usando seu produto exclusivo, o ChatGPT, para gerar publicações nas mídias sociais em um esforço para influenciar o discurso político online. Nimmo, que havia começado a trabalhar na OpenAI em fevereiro, ficou surpreso quando viu que os funcionários do governo haviam imprimido seu relatório, com as principais descobertas sobre as operações destacadas e tabuladas.
Essa atenção ressaltou o lugar de Nimmo na vanguarda do enfrentamento do grande impulso que a inteligência artificial pode proporcionar às operações de desinformação de adversários estrangeiros. Em 2016, Nimmo foi um dos primeiros pesquisadores a identificar como o Kremlin interferiu na política dos EUA online. Agora, empresas de tecnologia, funcionários do governo e outros pesquisadores o procuram para descobrir adversários estrangeiros que estão usando as ferramentas da OpenAI para provocar o caos nas tênues semanas antes de os americanos votarem novamente em 5 de novembro.
Até o momento, o inglês de 52 anos diz que a Rússia e outros atores estrangeiros estão, em grande parte, “experimentando” com a IA, muitas vezes em campanhas amadoras e desastradas que têm alcance limitado com os eleitores dos EUA. Mas a OpenAI e o governo dos Estados Unidos estão se preparando para que a Rússia, o Irã e outras nações se tornem mais eficazes com a IA, e sua melhor esperança de evitar isso é expor e neutralizar as operações antes que elas ganhem força.
Katrina Mulligan, ex-funcionária do Pentágono que acompanhou Nimmo nas reuniões, disse que é essencial criar essa “memória muscular” quando os malfeitores estão cometendo erros estúpidos.
“Você não conseguirá capturar os agentes realmente sofisticados se não começar por aí”, disse Katrina, que agora lidera a política de segurança nacional e as parcerias da OpenAI.
Na semana passada, Nimmo divulgou um relatório que dizia que a OpenAI havia interrompido quatro operações separadas que visavam eleições em todo o mundo este ano, incluindo um esforço iraniano que buscava exacerbar a divisão partidária dos Estados Unidos com comentários nas mídias sociais e longos artigos sobre a política americana, o conflito em Gaza e as políticas ocidentais em relação a Israel.
O relatório de Nimmo disse que a OpenAI havia descoberto 20 operações e redes enganosas em todo o mundo este ano. Em uma delas, um iraniano estava usando o ChatGPT para refinar um software malicioso destinado a comprometer dispositivos Android. Em outra, uma empresa russa usava o ChatGPT para gerar artigos de notícias falsas e o gerador de imagens da empresa, o Dall-E, para criar imagens sinistras e caricaturais da guerra na Ucrânia, em uma tentativa de atrair mais atenção em feeds de mídia social lotados.
Nenhuma dessas postagens, enfatizou Nimmo, se tornou viral. Mas ele disse que continua em alerta máximo porque a campanha ainda não acabou.
Os pesquisadores afirmam que os relatórios de Nimmo para a OpenAI são essenciais, pois outras empresas, especialmente o X (antigo Twitter), estão deixando de combater a desinformação. Mas alguns de seus colegas da área temem que a OpenAI possa estar minimizando a forma como seus produtos podem sobrecarregar as ameaças em um ciclo eleitoral acirrado.
“Ele trabalha para uma corporação”, disse Darren Linvill, professor que estuda desinformação na Universidade de Clemson. “Ele tem certos incentivos para minimizar o impacto.”
Nimmo diz que mede o impacto usando uma escala que desenvolveu antes da eleição de 2020, quando trabalhava para a empresa de pesquisa de mídia social Graphika.
A eleição é um grande risco para a OpenAI, recentemente avaliada em US$ 157 bilhões. Alguns legisladores estão preocupados com o fato de que o lançamento do ChatGPT, do Dall-E e de outros produtos pela empresa possa oferecer aos inimigos dos EUA uma nova e poderosa ferramenta para confundir os eleitores americanos, talvez de uma forma que supere a campanha da Rússia para influenciar as eleições de 2016. A contratação de Nimmo em fevereiro foi amplamente vista como uma tentativa da empresa de evitar alguns dos erros cometidos por empresas de mídia social, como a Meta, em ciclos eleitorais anteriores.
Mas Nimmo é uma das poucas pessoas que trabalham em tempo integral na OpenAI em investigações de ameaças. Outras grandes empresas de tecnologia, como a Meta, onde Nimmo era anteriormente o líder global de inteligência contra ameaças, têm equipes muito maiores.
Em meio ao exame minucioso da abordagem da OpenAI, Nimmo começou a repetir o que ele chama de citação errônea de Harry Potter: “Nós também podemos usar magia”.
“Não sou um técnico nem de longe, mas posso usar a IA”, disse Nimmo, falando pelo Zoom de uma biblioteca em sua casa na Escócia, repleta de livros com seu investigador favorito, Sherlock Holmes. “Se há alguma revolução de IA em andamento, é essa. É a capacidade de escalonar a análise e a capacidade investigativa.”
O problema, é claro, é que os agentes malignos estão se valendo da mesma capacidade revolucionária.
Dos trombones à caça de trolls
A propaganda russa atingiu Ben Nimmo com uma cabeçada no rosto.
Em 2007, um desordeiro bêbado quebrou o nariz do então jornalista enquanto ele fazia uma reportagem sobre os violentos protestos na Estônia, depois que a televisão e as estações de rádio estatais russas alimentaram as tensões de longa data sobre a complicada história do país báltico com a União Soviética.
Essa pancada na cabeça preparou o autodenominado “medievalista por formação” para uma carreira como um dos mais proeminentes caçadores de trolls russos do mundo, impulsionado em grande parte por seu olho treinado para anomalias e padrões textuais. Segundo ele, os militares já realizavam operações de influência desde 1275 a.C.; o que há de novo hoje é a tecnologia que permite que elas se espalhem como um incêndio.
Depois de estudar em Cambridge, ele trabalhou como instrutor de mergulho autônomo. Quando tinha 25 anos, seu amigo íntimo foi assassinado enquanto estavam em uma expedição voluntária em Belize. Ele honrou a memória dela passando nove meses caminhando de Canterbury, na Inglaterra, até Santiago de Compostela, na Espanha, com um trombone nas costas, tocando jazz durante todo o percurso.
Enquanto viajava pelo mundo, inclusive pelos países bálticos como repórter da Deutsche Presse-Agentur, Nimmo aprimorou suas habilidades em idiomas estrangeiros. Ele já leu “O Senhor dos Anéis” em 10 idiomas e diz que fala sete - incluindo, de forma útil, o russo.
Em 2011, ele se tornou assessor de imprensa da Organização do Tratado do Atlântico Norte, onde observou um fluxo “constante” de desinformação russa. Ele começou a estudar operações de influência em tempo integral após a anexação da Crimeia em 2014, tornando-se parte de uma pequena comunidade de pesquisadores que estudavam como a propaganda russa estava evoluindo online.
Em novembro de 2016, como um dos fundadores do Digital Forensic Research Lab do Atlantic Council, Nimmo publicou um artigo de opinião para a CNN intitulado “How Russia is trying to rig the US election” (Como a Rússia está tentando manipular a eleição dos EUA), no qual observou que parecia que o Kremlin estava tentando “mudar o debate” em plataformas “com uma rede de contas falsas, automatizadas (‘bot’) e semiautomatizadas (‘cyborg’)”.
Na época, o CEO do Facebook, Mark Zuckerberg, disse que era “loucura” sugerir que falsidades em sua plataforma poderiam influenciar o resultado das eleições nos EUA. Foram necessários anos para que jornalistas, pesquisadores e investigadores do governo descobrissem a extensão da campanha nas mídias sociais da Internet Research Agency, sediada na Rússia, para semear anúncios, publicações e vídeos personalizados para ajudar a eleger Donald Trump e semear a discórdia pública.
Nimmo estava bem posicionado para traduzir as descobertas dos pesquisadores para os formuladores de políticas e para o público. Em publicações no blog, ele compartilhou dicas sobre como identificar bots no Twitter e detalhou como uma conta russa no Twitter, disfarçada de americana, enganou a campanha de Trump em 2016.
Sua formação em literatura também se mostrou útil, pois ele estudou redes de contas automatizadas. Durante uma investigação sobre uma rede que divulgava narrativas políticas pró-China online, ele notou estranhas sequências de texto, incluindo uma que mencionava Van Helsing, o médico que lutava contra vampiros no romance clássico de Bram Stoker. Nimmo logo percebeu que o operador da rede de bots havia preenchido as biografias falsas de cada conta com o texto do livro eletrônico “Drácula” e, por fim, batizou a rede com o nome do vampiro.
Leia também
Em 2019, ele publicou um relatório para a Graphika sobre “Spamouflage”, contas falsas no YouTube, Twitter e Facebook que a China aproveitou para ampliar os ataques aos manifestantes de Hong Kong. A rede Spamouflage evoluiu ao longo dos anos, e a Graphika informou recentemente que ela se tornou mais agressiva em seus esforços para influenciar o discurso político dos EUA antes das eleições.
Em fevereiro de 2021, Nimmo foi contratado pelo Facebook, agora chamado de Meta, para liderar as investigações de ameaças globais. Ele se tornou o rosto dos esforços da empresa para proteger as eleições de meio de ano de 2022 da interferência estrangeira, expondo uma rede de contas baseadas na China que se faziam passar por americanos liberais que moravam na Flórida, no Texas e na Califórnia, publicando críticas ao Partido Republicano.
Depois de três anos na Meta, ele foi atraído em fevereiro para seu cargo na OpenAI, que lhe proporcionou um novo ponto de vista sobre como a Rússia e outros atores estavam abusando da IA para ampliar as campanhas de desinformação. Cerca de três meses após seu início, a empresa divulgou um relatório dizendo que Nimmo havia descoberto a Rússia, a China, o Irã e Israel usando suas ferramentas para disseminar propaganda. Nimmo batizou uma nova operação de “Bad Grammar” (gramática ruim) porque ela era propensa a erros, como a publicação de respostas comuns do ChatGPT que se recusavam a responder a uma pergunta.
Normalmente, Nimmo começa seu dia de caça a ameaças em sua casa, no interior da Escócia, verificando os relatórios de atividades suspeitas que suas ferramentas automatizadas obtiveram durante a noite e preparando uma xícara de chá. Ele é cético em relação às chaleiras dos hotéis dos EUA, portanto, se estiver visitando a sede da OpenAI em São Francisco ou se reunindo com funcionários do governo em Washington, ele leva uma chaleira de viagem na bolsa.
Para Nimmo, o trabalho também trouxe desafios pessoais. Em 2017, uma rede de bots russos que se fazia passar por um de seus colegas de trabalho alegou que ele havia morrido. Em 2018, ele recebeu uma enxurrada de ameaças de morte, incluindo uma que avisou Nimmo que ele seria enforcado ao lado da rainha. Ele teve que aumentar suas defesas de segurança cibernética e brinca que há uma lista crescente de países onde ele não sairá de férias tão cedo.
Quando o desgaste do discurso online se torna excessivo, ele sai para caminhar nos campos ao redor de sua casa.
“Este é um trabalho que você faz porque realmente importa”, disse ele, e depois apontou para seu nariz ligeiramente torto.
“Desde 2007, eu sei que é importante. Meu rosto me lembra que é importante.”
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.