Num novo estudo acabado de apresentar pelo CESifo, um centro de investigação internacional sediado em Munique, três investigadores de Economia de Educação revelam dados novos sobre a importância da avaliação dos alunos e das escolas. Este novo trabalho, assinado por Annika Bergbauer, Erik Hanushek e Ludger Woessmann, impressiona pelo volume de dados analisados e pela sua robustez estatística. As conclusões são claras: a avaliação externa dos alunos através de testes ou exames normalizados é positiva para os estudantes e para o ensino.

Quem está fora das polémicas educativas pode estranhar que sejam necessários estudos para apontar aquilo que é quase do senso comum: quando os estudantes são avaliados com provas externas, todo o sistema de ensino se realinha, e realinha-se dando importância ao conhecimento que essas provas aferem: os alunos preocupam-se mais em dominar as matérias, os professores sentem-se ajudados no seu esforço de ensino e todos os agentes educativos, desde os pais até aos diretores e às escolas, se esforçam por obter bons resultados.

Este progresso dos alunos será um trabalho de anos, claro, não é algo que se consiga nas vésperas dos testes. Mas não o sabemos todos já?!

No entanto, nos anos 1960 e décadas posteriores, surgiram e reforçaram-se preocupações com a pressão psicológica sobre os alunos, com as desigualdades que seriam possivelmente agravadas pelos testes, com as retenções desnecessárias e com a necessidade de alargar o leque de estudos e não estar apenas a “estudar para o teste”. Como muitas vezes sucede, essas preocupações foram esquecidas no que teriam de legítimo e, em vez de serem orientadas para uma melhoria dos sistemas de avaliação, transformaram-se numa indústria de contestação aos resultados. Multiplicaram-se pequenos estudos, análises de casos, reflexões sobre as reflexões, citando-se todas umas às outras e tomando como confirmado aquilo que é apenas dito, escrito, redito e rescrito pelos próprios. Ora isto não é ciência nem sequer análise crítica séria. É escolástica no seu pior.

Largos sectores de “especialistas em educação”, sobretudo aqueles em que as aspas são mais apropriadas, dedicaram-se então a estigmatizar os ditos malefícios dos exames.

Pouco a pouco, os sistemas educativos ocidentais, em que tais teorias tiveram mais impacto, começaram a atrasar-se, enquanto aqueles que não sofreram estas contestações de cariz romântico, nomeadamente os sistemas asiáticos, avançaram e ultrapassaram as nações mais desenvolvidas.

No final do século XX começou a perceber-se melhor aquilo que afinal sempre se tinha sabido: sem uma avaliação, reduzem-se os incentivos ao progresso e os sistemas educativos podem esconder fracassos sistemáticos. O esclarecimento veio da ciência. Primeiro, dos estudos de sistemas comparados, depois, da psicologia cognitiva e dos economistas da educação.

Vale a pena rever, por exemplo, alguns estudos psicológicos modernos sobre o papel dos testes e da preparação para os testes na memória e na compreensão. No dizer de Jeffrey Karpicke, investigador em Purdue, Indiana, “cada vez que alguém recupera conhecimento, esse conhecimento é modificado, pois recorrer à recuperação […] não produz uma aprendizagem rotineira e momentânea; produz uma aprendizagem significativa e de longo prazo.” (A Avaliação dos Alunos, Fundação Francisco Manuel dos Santos, p. 17, 2012). Os estudos da psicologia cognitiva mostram não só a importância de testar os alunos como a de estes desenvolverem formas de autoteste.

Análises recentes de estatística e de economia da educação sublinham também a importância de ter instrumentos para avaliar os alunos. Ainda há meses, por exemplo, o Relatório do Banco Mundial, que este ano foi dedicado ao ensino, faz uma síntese de muitos dados de todo o mundo e defende um maior rigor na avaliação, dizendo que “há atualmente muito pouca avaliação, não um excesso dela” (p. 17).

O novo estudo do CESifo que referimos de início, estudo assinado por Bergbauer, uma jovem doutoranda, e por Hanushek e Woessmann, dois dos maiores economistas de educação da atualidade, especialistas que têm estado entre nós nas conferências de Lisbon Economics and Statistics of Education, é um estudo que impressiona pelo volume de dados e solidez metodológica.

Estes investigadores tomam partido da existência de microdados, ao nível do aluno, nas diversas edições do estudo PISA, da OCDE, e estudam os resultados de mais de dois milhões de alunos de 59 países, nas seis edições do PISA, de 2000 a 2015.

Utilizam uma metodologia estatística de painel e medem as evoluções dentro de cada país à medida que os sistemas de avaliação nacionais foram mudando. Consideram “efeitos fixos” de país e de ano, de forma não perturbar os resultados com características nacionais nem com variações próprias de cada ano.

As conclusões são extremamente interessantes.

Primeiro, contrastam as avaliações internas, que apenas fornecem informação aos alunos ou escolas, e não são comparáveis externamente, com as avaliações normalizadas (“standardized tests”), isto é, com as provas gerais ou exames externos, avaliados com critério uniforme para todos. Por outras palavras: comparam os testes feitos pelos professores com as provas e exames nacionais. E concluem que as provas externas normalizadas estão associadas a melhores resultados cognitivos, tal como medido pelos inquéritos independentes (PISA).

Sublinham que as provasinternasapenas revelam um efeito positivo em países de muito baixo desempenho escolar – o que é um pouco surpreendente – e concluem enfaticamente que os exames externos que permitem comparar resultados entre alunos e escolas são aqueles que induzem os sistemas educativos a conseguir melhores resultados para os seus alunos.

Curiosamente para o nosso país – em que a questão foi muito debatida, e nem sempre da melhor maneira –, concluem que os incentivos a escolas baseados nos seus resultados têm como efeito final que os alunos aprendem mais e se preparam melhor.

Talvez ainda mais interessante: os testes e exames são mais importantes para melhorar os resultados nas escolas e nos alunos com mais problemas do que nas escolas e nos alunos que têm já um bom desempenho.

Curioso não?!