Pedir ajuda para o vizinho de carteira durante a prova ou mesmo para um robô de inteligência artificial não será mais motivo de punição em um futuro próximo. Isso porque os novos exames medirão justamente como o aluno colabora com os colegas para encontrar soluções, busca informações, faz perguntas - e a sua motivação para realizar isso tudo. Sistemas de avaliação internacionais, como o Pisa, feito pela Organização para a Cooperação e o Desenvolvimento Econômico (OCDE), já começam a incluir a tecnologia para analisar bem mais do que apenas respostas certas.
“As provas não são mais sobre se os alunos acertaram ou erraram a pergunta e, sim, sobre como abordam um problema, se eles estabelecem uma meta, quais são suas estratégias, sua motivação”, disse o diretor de Educação e Habilidades da OCDE e um dos criadores do Pisa, Andreas Schleicher, em evento em Campinas, da Associação Brasileira de Avaliação Educacional (Abave). Segundo ele, a tecnologia pode monitorar o movimento do mouse, do teclado, a voz, o olhar e os movimentos faciais dos estudantes para rastrear a forma como eles respondem às questões.
A novidade vai estar no Pisa de 2025, que terá um novo conceito: Learning in the Digital World (aprendendo no mundo digital). A prova vai avaliar como os estudantes aprendem e não apenas o que eles sabem, usando a tecnologia. Será a primeira vez, desde que o exame foi criado no início dos anos 2000, que os resultados vão incluir comparações entre os países dos processos de aprendizagem dos alunos, incluindo medidas de motivação e regulação emocional.
A ideia é coletar dados de auto regulação, cognição e comportamento dos alunos enquanto eles fazem a prova no computador e usar machine learning para analisá-los. Atualmente, a OCDE está aplicando o Pisa 2022, que teve atrasos por causa da pandemia, com provas de Leitura, Matemática e Ciências.
“Estamos incorporando tutores inteligentes no sistema de avaliação para que, quando os alunos tiverem dúvidas, eles tenham essa assistência. Nos dias de hoje é uma bobagem não permitir isso”, diz Schleicher. “Devemos permitir que os alunos usem tudo o que puderem, porque você não quer ver se eles sentem falta do Google, você quer saber se eles podem fazer uso inteligente dele”, completa.
O Pisa 2025 também vai medir a capacidade dos alunos de utilizar ferramentas digitais para explorar sistemas, representar ideias e resolver problemas com lógica computacional. Na descrição do novo teste, a OCDE diz que é “importante que os jovens estejam preparados para participar de mercado de trabalho em que os computadores desempenham um papel cada vez maior e para tomar decisões sobre como utilizar a tecnologia para adquirir novos conhecimentos e competências”.
“Em tempos de Chat GBT não se trata de repetir respostas, mas de aprender a fazer perguntas corretas, não se trata apenas de medir o que você sabe sobre Biologia e Física e, sim, se você consegue pensar como um cientista. Na História, não se tratar de lembrar nomes de lugares, mas se você entende a sociedade que surgiu a partir de determinado desenvolvimento”, afirmou ele, para a plateia de especialistas em avaliação do Brasil. “São esses tipos de competências e de pensamentos que as avaliações modernas precisam tornar visíveis, em vez de apenas testar se os alunos conseguem reproduzir as respostas que projetamos numa pergunta.”
Os resultados do Pisa 2025 serão conhecidos só em dezembro de 2027. O Brasil participa da prova, que avalia estudantes de 15 anos, desde o início e está sempre entre as últimas colocações no ranking. Os últimos resultados são de exames feitos em 2018 e divulgados em 2019.
Há também modelos sendo testados pelo mundo que medem até o desinteresse do estudante pela prova e cria formas para que se engaje mais. Em uma plataforma criada pela OCDE ainda em versão demo, chamada Platform for Innovative Learning Assessments (PILA), há exemplos de testes que usam tecnologias digitais para serem utilizados em escolas. A iniciativa só tem exercícios em inglês, por enquanto.
Em um deles, os alunos precisam ensinar uma agente virtual, chamada Betty, sobre mudanças climáticas, analisando conceitos de causa e efeito. Como feedback, eles podem pedir a Betty que faça provas sobre o que aprendeu, e depois ainda tem a possibilidade de conversar com um mentor virtual.
Na palestra do evento em Campinas, Schleicher relatou também o caso de escolas em Xangai, na China, em que há um tipo de scanner nas mesas em que os estudantes treinam para escrever corretamente os milhares de caracteres do mandarim.
Em tempo real, por meio de inteligência artificial, os erros dos alunos são captados e comunicados aos professores, que podem intervir e ajudá-los a melhorar. “O professor não precisa pegar todos os materiais, corrigir em um outro dia e dar o feedback para o aluno depois”, conta. “E a tecnologia não é visível, ela está toda em segundo plano. Essa é a característica da avaliação moderna: ela não distrai os alunos, não acrescenta, mas está totalmente imersa nos processos de aprendizagem.”
Brasil “a léguas de distância”
Após a apresentação feita remotamente, de Paris, a presidente da Abave, Maria Helena Guimarães de Castro, disse que o Brasil está “a léguas de distância das inovações” relatadas por diretor da OCDE.
“Está na hora do Brasil parar de só marcar bolinha em teste e começar a medir a produção textual”, afirmou o presidente da União Nacional dos Dirigentes Municipais de Educação, Alessio Costa Lima, numa mesa de debates no mesmo evento. Ele se referia ao Sistema Nacional de Avaliação Básica (Saeb), a principal prova brasileira para medir a aprendizagem dos alunos em Português e Matemática.
Outros especialistas também defendem inovações urgentes no Saeb durante o evento, que vão desde incluir respostas abertas e textos, a avaliação da área de Ciências, que foi adicionada apenas às provas do 9º ano em 2021. O exame testa alunos do 5º ano e 9º ano do fundamental e do 3º ano do ensino médio. Em 2019 passaram a ser avaliados também o estudantes de 2º ano para monitorar a alfabetização.
Segundo o representante do Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), Rubens Campos de Lacerta Junior, presente ao encontro, o órgão tem aprimorado o Saeb. Em maio, o Ministério da Educação (MEC) apresentou critérios que passarão a ser considerados a partir de agora no País para definir que uma criança está alfabetizada. Entre os parâmetros para alunos de 7 anos estão escrever bilhetes e convites e ler textos simples, tirinhas e histórias em quadrinhos. Seguindo a nova medida, 56,4% dos estudantes do 2º ano não estavam alfabetizados no Brasil em 2021.
No Brasil, a École 42, uma escola de programação, segue um conceito semelhante sobre colaboração dos alunos, previsto nas avaliações modernas. A seleção para conseguir uma vaga na concorrida instituição francesa, que tem filiais no mundo todo, dura dias e são testadas resiliência, garra, vontade de aprender. Há jogos de memória, lógica e os candidatos precisam encontrar soluções para problemas trabalhando junto com outros concorrentes. Quatro vezes por ano são escolhidos cerca de 300 estudantes, que só progridem na escola se cumprirem projetos de programação, feitos sempre em grupo e avaliados pelos colegas.