João Marôco é professor associado de Estatística e Métodos de Investigação do ISPA – Instituto Universitário e Catedrático convidado da NovaSBE. Entre 2014 e 2018 foi vogal do C.D. do IAVE, I. P. onde coordenou os estudos internacionais por amostragem em larga escala (TIMSS, PIRLS, PISA e ICILS).

O efeito de testagem na consolidação das aprendizagens

Num artigo de 2011, os professores Henry Roediger e Andrew Bulter das Universidades de Duke e Washington descrevem um conjunto de experiências para avaliar o efeito que a testagem dos alunos durante as aulas produz na retenção de conhecimentos. Numa dessas experiências, a um grupo de 72 estudantes de Psicologia foi pedido que realizassem uma disciplina de História em quatro cenários de aprendizagem:

• i) Sem testes ao longo da disciplina;
• ii) Com testes sem feedback;
• iii) Com testes com feedback imediato após a submissão de cada resposta;
• iv) Com testes com feedback apenas após a submissão do teste. Os resultados do exame final sobre os tópicos de História ministrados na disciplina, são ilustrados na figura 1.

Estes resultados serão compatíveis com a experiência acumulada dos professores portugueses de todos os níveis de ensino? Do Básico ao Superior?

Na verdade, existe todo um corpo de investigação empírica que demonstra que a avaliação do material estudado promove a consolidação das aprendizagens e a retenção desse conhecimento no teste final em todos os ciclos de ensino. Porém, este “efeito de testagem” não reúne o consenso universal. No livro “The Testing Charade: Pretending to Make Schools Better” [A charada dos testes: fingindo tornar as escolas melhores], o professor Daniel Koretz da Universidade de Harvard elabora sobre a reduzida evidência empírica de que os ganhos nas aprendizagens decorrentes dos testes/exames são promotores de melhores desempenhos académicos ou de redução das desigualdades nos rendimentos dos alunos.

É, porém, necessário referir que resultados citados pelo professor Koretz são referentes aos Estados Unidos. Neste país, a avaliação externa tem mais consequências para a progressão dos professores e financiamento das escolas do que para os alunos que realizam esses testes. Ainda assim, numa revisão crítica ao livro, o professor Richard Phelps, do Nonpartisan Education Group, uma organização não governamental americana, contrapõe com uma revisão alargada (meta-análise) de quase 800 estudos experimentais, quantitativos, qualitativos e de amostragem, onde demonstra que a testagem (com consequências) tem efeito positivo e forte no desempenho académico dos alunos de diferentes níveis de ensino.

O efeito de testagem é universal?

Talvez seja questionável a universalidade deste efeito de testagem? Talvez este efeito seja específico apenas dos Estados Unidos, país com características socioculturais, económicas e sistemas educativos nos diferentes estados, relativamente diferentes de Portugal? Os investigadores Anita Bergabaue, Eric Hanushek e Ludger Woessman, num estudo realizado em 2018 para o National Bureau of Economic Research dos EUA, analisaram os dados dos testes PISA entre 2000 e 2015, referentes a mais de dois milhões de estudantes de 59 países, onde se inclui Portugal, e avaliaram o efeito da introdução de exames finais de ano ou de ciclo na evolução dos resultados do PISA.

Os investigadores concluíram que a introdução destas avaliações no final do ano de escolaridade produzia um acréscimo significativo de quase 16, 11 e 19 pontos da escala PISA em Matemática, Ciências e Leitura, respetivamente. A introdução de exames finais no final do 3.º ciclo conduzia a um crescimento de cerca de 14, 14 e 15 pontos nos mesmos três domínios do PISA. A utilização do resultado destes testes para decisões de carreira ou progressão de estudos conduzia a um acréscimo de 16, 11 e 11 pontos para Matemática, Ciências e Leitura, respetivamente. Coincidentemente, ou talvez não, a maior evolução de Portugal no PISA ocorreu entre 2006 e 2009, com um salto de 21 pontos para Matemática, 17 para Leitura e 19 pontos para Ciências.

Ainda que um efeito causal não possa ser defendido dada a natureza correlacional do PISA, a coincidência temporal com a introdução dos exames do 9.º ano em 2005 é inegável (ver Fig. 5 deste capítulo). A coincidência com as estimativas observadas em outros países que introduziram exames finais nos seus sistemas educativos, como demonstrou o estudo de Bergabaue e colegas, é também inegável.

Esta breve exposição de algumas evidências empíricas sobre os efeitos dos exames na consolidação das aprendizagens traz-nos finalmente ao cerne deste artigo. Face a este tipo de dados, o que será expectável observar quando um sistema educativo introduz ou retira exames nacionais de final de ciclo do seu sistema educativo? O que seria expectável observar em estudos internacionais que avaliam a literacia de Matemática e Ciências dos alunos portugueses ao eliminar os exames de final de ciclo (como aconteceu recentemente com o 4.º e 6.º anos)? Os resultados do TIMSS 2019 respondem a esta questão.

A lição do TIMSS 2019

Portugal participou no TIMSS (estudo internacional que avalia as tendências das literacias de Matemática e de Ciências em alunos do 4.º e 8.º anos de escolaridade) pela primeira vez em 1995: no 4.º ano, os alunos portugueses ficaram colocados no fundo da tabela de todos os países participantes, com 442 e 452 pontos a Matemática e Ciências, respetivamente, numa escala de 0 a 1000 pontos com média de 500 pontos. Pior classificados que Portugal, apenas três países: Islândia, Irão e Kuwait.

Os resultados do PISA cinco anos depois, agora com alunos a frequentar o 9.º ou 10.º ano de escolaridade, que ficaram posicionados na antepenúltima posição entre os países participantes bem abaixo da média da OCDE, vieram confirmar o que TIMSS já tinha informado. Era preciso agir! Nos 15 anos seguintes, os diferentes governos, de base socialista ou social democrata, promoveram políticas educativas alinhadas à atualização dos currículos; à formação dos professores; ao apoio escolar aos alunos; ao reforço das metodologias de ensino e tempos letivos do Português, Matemática e Ciências; ao apoio económico aos alunos de famílias carenciadas; ao apetrechamento tecnológico das escolas; e à promoção de avaliações externas das aprendizagens, primeiro com provas de aferição, sem consequências para a progressão dos alunos, e depois com as provas de final de ciclo (exames), primeiro no 9.ºano em 2005, depois no 6.º ano em 2012, e no 4.º ano em 2013.

Se os dados sobre o efeito de testagem nos permitissem fazer previsões, estas seriam no sentido da melhoria do desempenho dos nossos alunos entre 2000 e 2015?

De facto, em 2015, Portugal ficou pela primeira vez posicionado acima na média da OCDE em Ciências e Leitura, e na média da OCDE a Matemática. No TIMSS de 2015, os alunos portugueses obtiveram 541 pontos a Matemática — uma subida de 99 pontos, equivalente a dois anos de escolaridade relativamente a 1995! —, e significativamente acima da média da escala (500 pontos) e de países que, como a Finlândia, são referências internacionais quanto ao desempenho dos seus alunos em estudos internacionais comparativos.

A Ciências, porém, os resultados foram mais modestos: 508 pontos na mesma escala de 0 a 1000. A evolução dos alunos portugueses nos estudos internacionais é certamente reflexo das políticas educativas adotadas anos antes. Mas é também devida à melhoria do rendimento das famílias e das habilitações académicas das mães. De acordo com a Pordata, o rendimento médio das famílias portuguesas evolui de quase 20.000 euros, em 1995, para quase 31.000 euros em 2011 (ano em que entraram na escola as crianças que participaram no TIMSS de 2015). De igual modo, a taxa de analfabetismo nas mulheres passou de 23% em 1981, para 6,8% em 2011.

Em 2016, um novo ciclo político e, na 24 de julho, o perfil do aluno e da escola para o século XXI recuperou as políticas “românticas” da década de 70 do século passado, rompendo com os objetivos definidos, quatro anos antes, de maior investimento no Português e na Matemática, currículos mais robustos, metas claras e prestação-de-contas do sistema por intermédio de avaliações externas com consequências para alunos e escolas. Nas novas orientações educativas pós-2016, a escola do século XXI é recriada à luz das teorias sócioeducativas do século XX.

Os exames de Português e Matemática dos 4.º e 6.º anos foram extintos logo no início de 2016, dando origem a provas de aferição, sem consequências para alunos ou escolas (“Avaliação para nada”?) no 2.º ano, 6.º e 8.º ano em Português e Matemática e em outros domínios rotativos (Estudo do Meio, Educação Física, Educação Artística, Inglês,…). O suposto “novo” perfil do aluno foi acompanhado pela redução dos currículos às “aprendizagens essenciais” e pela “flexibilidade curricular” que alcançará todos os alunos do 1.º ciclo em 2022. Ênfase é dada à promoção das competências sociais (soft skill”), à custa da redução dos tempos letivos das componentes estruturantes (hard skills). E, ainda que os alunos que participaram no TIMSS em 2019 não tenham sido apanhados pelas “aprendizagens essenciais” e “flexibilidade curricular”, a abolição dos exames e a obrigatoriedade de não ensinar a totalidade dos currículos – agora, diz-se, já não é preciso “ensinar para os exames”, como se isso fosse diferente de ensinar o currículo — trouxe consequências de curto prazo. E aqui estão elas:

Uma quebra de 16 pontos estatisticamente significativos – isto é, que não é resultado de problemas de estimação, amostragem, má sorte ou azar – a Matemática inverteu a tendência de crescimento e colocou Portugal sete pontos agora abaixo da mítica Finlândia, tantas vezes apresentada como o exemplo a seguir para a construção da escola do futuro. Como se existissem dúvidas, o que funciona na Finlândia não é diretamente importável para Portugal. Para as Ciências, os resultados demonstram a estagnação das aprendizagens com uma redução não significativa de quatro pontos entre 2015 e 2019, mas em tendência com o decréscimo que já se tinha observado relativamente a 2011. Talvez por coincidência, as ciências nunca foram alvo de exames finais no 1.º ciclo.

Persistem dúvidas sobre o efeito que a avaliação externa de qualidade e com consequências tem sobre a evolução do sistema educativo português? A evolução negativa, como avaliado pelo TIMSS entre 2015 e 2019, é particularmente reveladora do efeito da política educativa em curso. Esta consegue mesmo anular os efeitos positivos dos fatores externos à escola, nomeadamente a expansão do ensino pré-escolar, a evolução da escolaridade dos pais e do rendimento económico das famílias (estimativa de 34.000 euros para 2019) nas aprendizagens dos alunos.

Coda

De dois exames finais nos 4.º e 6.º anos passou-se para provas de aferição a tudo e algo mais. A avaliação, quer para as aprendizagens, quer das aprendizagens é, obviamente, importante, se essa avaliação for importante para quem a faz. Dito isto, não é por se fazerem RX todos dias a um osso quebrado que este vai sarar, ou o vai fazer mais depressa.

O ortopedista precisa de um bom RX no início, para prescrever o tratamento adequado; a meio, para certificar que o osso está a sarar convenientemente; e no fim, para confirmar que tudo está onde deveria estar no final do tratamento. “RX para nada” são, como se sabe, prejudiciais aos custos operacionais dos hospitais, à saúde física e ao bem estar de médicos e pacientes. Mas, sem RX no tempo e momento certos, com consequências para quem os faz, também não é possível avaliar e evolução e a qualidade dos cuidados. Uma educação de qualidade é o melhor dos cuidados que um país pode ter com o seu futuro.