O ex-líder de pesquisa em inteligência artificial da OpenAI, Jan Leike, anunciou que agora está liderando uma nova equipe na Anthropic. O grupo é focado em “superalinhamento”, conceito no campo da inteligência artificial (IA) que se concentra em garantir que os sistemas estejam alinhados com valores humanos e siga diretrizes críticas de segurança.
Leike dará continuidade ao trabalho em “supervisão escalável”, que são técnicas para controlar o comportamento da IA em larga escala de maneiras previsíveis e desejáveis.
A formação da equipe de superalinhamento na Anthropic ocorre após dissidências internas na OpenAI, onde Leike co-liderou uma equipe com objetivos semelhantes. A equipe da criadora do ChatGPT enfrentou obstáculos impostos pela liderança da empresa, o que levou à sua dissolução.
A Anthropic, fundada por Dario Amodei, ex-vice presidente de pesquisa da OpenAI, tem se posicionado como uma organização mais focada na segurança de IA do que sua concorrente. Amodei e outros ex-funcionários da OpenAI, incluindo o ex-líder de políticas Jack Clark, estão trazendo sua experiência para a Anthropic.
A Anthropic desenvolve a família de modelos de IA Claude 3, lançada em 4 de março.
Leia também
Rivalidade
A contratação de Leike pela Anthropic evidencia uma das crises internas que a OpenAI vem lidando. Recentemente, o co-fundador e cientista-chefe da OpenAI, Ilya Sutskever, que cuidava da equipe de superalinhamento e apoiou a trama de demissão do CEO Sam Altman, deixou a companhia, com Leike saindo logo em seguida. Segundo Leike, a segurança na OpenAI “ficou em segundo plano”.
Após essas baixas, a OpenAI dissolveu a equipe de superalinhamento, de acordo com a Wired. Na semana passada, a pesquisadora de políticas da OpenAI, Gretchen Krueger, também anunciou sua renúncia, citando preocupações semelhantes.
Paralelamente ao anúncio da contratação de Leike pela rival Anthropic, nesta terça-feira, 28, a OpenAI anunciou a formação de uma nova equipe de segurança, liderada pelo CEO Sam Altman, e outros dois membros do conselho, Adam D’Angelo e Nicole Seligman.
