A Apple está trabalhando em uma inteligência artificial generativa capaz de ler a tela do celular e entender elementos visuais e contexto, segundo o site Venture Beat. A IA seria integrada à Siri, que conseguiria interpretar informações, imagens e dados contidos na tela, aumentando assim sua capacidade de comunicação com o usuário.
O sistema, chamado ReALM (Reference Resolution As Language Modeling) faz uso de grandes modelos de linguagem (LLM) para converter qualquer informação contextual na tela, inclusive visual, em texto, de forma que a assistente do dispositivo seja capaz de descrever o que está “vendo” na tela e manter um diálogo coerente com o usuário.
Com a tecnologia, seria possível pedir para a Siri realizar ações com as informações que você está vendo na tela, como um número de telefone, um e-mail ou dados sobre uma empresa.
“Permitir que o usuário emita consultas sobre o que vê em sua tela é um passo crucial para garantir uma verdadeira experiência de mãos-livres em assistentes de voz”, escreveu a equipe de pesquisadores da Apple no artigo que descreve o sistema.
Os resultados com a ReALM, de acordo com os pesquisadores, podem ser superiores ao do GPT-4, da OpenAI.
Leia Também:
Contudo, o estudo identifica limitações, como a dificuldade do sistema em distinguir várias imagens, exigindo técnicas avançadas de processamento.
Apesar de manter segredo sobre o assunto, a Apple vem desenvolvendo internamente seu próprio LLM (large language model ou grande modelo de linguagem) batizado de Ajax – informalmente chamado de AppleGPT.
Em fevereiro, Tim Cook, CEO da Apple, afirmou que o iOS 18, a próxima grande atualização do sistema operacional do iPhone, terá integração com IA generativa.
Segundo a Bloomberg, a tecnologia da Apple ainda é inferior à das concorrentes, razão pela qual a empresa esteve em negociação com a OpenAI e o Google, optando por uma parceria. Ainda de acordo com o veículo, a Apple estaria negociando a implantação do Gemini, modelo de IA do Google, no iPhone ainda em 2024.
A Apple deve fazer anúncios com relação ao uso de IA em suas plataformas em junho, durante a Worldwide Developers Conference (WWDC).