Um estudo realizado pela Universidade de Waseda e pelo instituto de pesquisa Riken, no Japão, investigou a influência da polidez e do respeito na comunicação com inteligências artificiais (IAs) durante a criação de comandos (ou prompts).
Partindo da hipótese de que o respeito é importante na comunicação entre humanos, os pesquisadores quiseram avaliar seu impacto nas respostas das IAs aos prompts, uma vez que os grandes modelos de linguagem (LLMs), como o sistema que abastece o ChatGPT, imitam traços da comunicação humana e normas culturais.
Os pesquisadores focaram o estudo em três idiomas: inglês, chinês e japonês, uma vez que o respeito se expressa de diferentes formas em cada um dos idiomas e seus contextos sócio-culturais.
O GPT-3.5 e o GPT-4, da OpenAI, foram escolhidos por sua versatilidade nos três idiomas, mas a equipe também testou modelos menos conhecidos. Eles também consideraram os vieses estereotípicos que as IAs podem expressar, como gênero, nacionalidade, idade, raça e classe social, uma vez que elas são treinadas a partir de uma enorme quantidade de dados criados pelos próprios humanos.
Em seguida, foram criadas oito variações distintas de prompts, solicitando às diferentes IAs uma tarefa simples, com graus variados de respeito, do mais grosseiro ao mais respeitoso.
O estudo concluiu que o respeito na elaboração dos prompts pode afetar significativamente a performance das IAs, refletindo o comportamento social humano. O uso de palavras grosseiras e ofensivas na comunicação com a IA resultou em baixa performance, levando ao aumento do viés, respostas incorretas ou até mesmo na recusas de respostas. Contudo, prompts excessivamente educados não trouxeram resultados muito melhores. O ideal, segundo os persquisadores, é manter um nível moderado de educação.
Curiosamente, o GPT-4 não apresentou uma tendência de “discutir” com o usuário mal educado ou excessivamente educado, sugerindo que o modelo prioriza a tarefa solicitada, independentemente da forma como ela é expressa.
Outro detalhe interessante é que modelos treinados em um idioma específico são suscetíveis ao grau de polidez daquela língua, sugerindo que o contexto cultural deva ser considerado no desenvolvimento de LLMs.