Tudo o que sobe tem de descer. A lei de gravitação de sir Isaac Newton aplica-se, na perfeição, às médias dos exames nacionais de 2021, a partir das quais foi feito o ranking de escolas do Observador. Só que na teoria do físico britânico é a gravidade a força que leva uma maçã a cair da árvore. Nos exames nacionais, é a estrutura das provas que leva um 18 a transformar-se em 15. O modelo de exame de 2020 justificou as médias elevadas (e pouco habituais) dos alunos, e é o modelo de exame de 2021 que explica porque as notas voltam a cair em todas as escolas, exceto em nove.

A média nacional desce de 13,29 valores para 11,63 (uma queda de 1,6 valores) e aproxima-se dos números de 2019 (10,62), mas mantendo-se mais elevada. O problema, dirá qualquer professor de estatística, é que os modelos de provas mudaram radicalmente de 2019 para os anos seguintes, e mudou também o universo de alunos que fez exame (só os que seguiram para o ensino superior tiveram de prestar provas). Assim, as comparações saem sempre enviesadas.

“Todos os anos há oscilações que podem ser estaticamente relevantes ou não. Todos os anos há variações porque as provas são públicas, e todos os anos mudam os alunos e as coortes [conjuntos de pessoas numa amostra]”, argumenta Hélder Sousa, antigo presidente do Instituto de Avaliação Educativa (IAVE), o organismo responsável pela criação dos exames nacionais. Já foi seu desejo ter provas não públicas, onde as correções e os enunciados não são divulgados, mas desistiu por acreditar que a sociedade não está pronta para as aceitar. Se não houvesse provas públicas, e se mantivessem parte das perguntas iguais de ano para ano, as comparações seriam mais fiáveis.

Ranking das escolas. Em que lugar ficou a sua?

Ana Balcão Reis, professora associada da Nova SBE, universidade que há seis anos trabalha os dados do Ministério da Educação em parceria com o Observador, aponta isso mesmo. “Não sendo a dificuldade dos exames nacionais portugueses comparável de um ano para o outro, não é possível olhar para a variação das médias para tirar qualquer conclusão sobre a evolução do nível de aprendizagem dos alunos. Para isso, teríamos de ter exames com, pelo menos, alguns exercícios, claramente comparáveis de um ano para o outro, o que não acontece.” Assim, e sem fazer considerações sobre as aprendizagens, ressalva que este ano “a principal alteração é a queda das médias, mas houve também uma pequena redução da dispersão”.

Em Portugal, as médias dos exames nacionais têm-se mantido bastante estáveis ao longo dos últimos anos, com pequenas flutuações. O ano da pandemia foi atípico. A moda (nota que ocorreu com mais frequência) do exame de Matemática A foi de 19 valores, lembra João Mâroco, que no IAVE coordenou estudos internacionais de avaliação de alunos como o PISA e o TIMSS. “Quem conhece a prova de Matemática A sabe que isto não é possível, é uma piada”, argumenta o professor do Instituto Superior de Psicologia Aplicada.

O que é que aconteceu no secundário?, questiona Hélder Sousa, para logo de seguida arriscar uma resposta. “Até 2019 havia um fio condutor das provas. Em 2020 com a pandemia, o IAVE teve de responder a um problema: não havia continuidade educativa nas escolas, a cobertura do currículo não era igual, o grau de completamento do programa em cada escola era diferente.”

A solução escolhida foi a possível. “As provas já estavam feitas. Os primeiros drafts são feitos em outubro. Como não há um banco de itens, elas são sempre feitas de raiz e demoram meses. Numa situação como a da pandemia, o que é que se pode fazer? Mexer nos critérios de classificação e nas cotações — é uma engenharia, permite algumas intervenções na prova”, defende. 

Voltando à aula de estatística, necessária para perceber o que se passou desde que a pandemia de Covid-19 chegou a Portugal, há dois conceitos fundamentais, explica João Mâroco. O primeiro é a significância estatística que é quando as subidas e descidas podem ser explicadas pelo acaso — alunos, provas e níveis de conhecimento diferentes — e que são normais por estarem relacionadas com a variabilidade da população.

O segundo, são as diferenças estatisticamente significativas e essas já não podem ser explicadas pelo acaso, tem de haver uma justificação para a grande subida ou descida. “A subida de 2020 foi estatisticamente relevante”, esclarece João Mâroco. “O que é que a justificou? Essa é a pergunta de um milhão de euros. Mas acredito que em cada 10 estudiosos, 9 vão apontar para a estrutura da prova.”

8 curiosidades (e 11 gráficos) que explicam o essencial do ranking das escolas

Mas a prova de 2021 não era igual ao modelo de 2020?

Nos exames de 2021, tal como nos de 2020, havia um bloco de perguntas alternativas: o aluno podia responder a todas e só contavam para a nota as que tivessem cotação mais alta. Se o esquema foi o mesmo por que motivo as notas não continuaram elevadas?

Rodrigo Queiroz e Melo avança com uma hipótese explicativa. “A queda generalizada no país, ainda que não acentuada, sensível, mas em quase todas as escolas, faz todo o sentido. Em 2020, havia um exame preparado e, por causa da pandemia, foi alterado: pôs-se algumas perguntas como opcionais e mexeu-se na cotação.”

Em 2021, as alterações mantiveram-se, mas com uma nuance, explica o membro do Conselho da Educação. “Existiu à mesma uma parte facultativa, mas as provas foram construídas de raiz com esta matriz opcional.” Assim, defende Queiroz e Melo, mesmo sendo previsível que a nota de um aluno seja mais alta quando há perguntas opcionais, no segundo ano de pandemia as perguntas mais complexas eram de resposta obrigatória.

“Em 2020 era impossível, naquele espaço de tempo, fazer provas novas. Portanto, as provas não eram mais fáceis. A questão era a estrutura da prova: tínhamos um Ferrari pronto para uma prova Todo o Terreno. Não batia certo. No segundo ano fizemos um carro adequado à prova que tínhamos de correr”, exemplifica o também presidente da AEEP, a associação que junta escolas, colégios, externatos e internatos de ensino particular e cooperativo.

Hélder Sousa acrescenta outro dado. “As resposta obrigatórias tiveram uma majoração de pontuação em 2020”, ou seja, eram menos, mas cada uma delas valia mais, enquanto que o número de perguntas alternativas era muito elevado.

“Foi uma situação de emergência e havia pouca margem de manobra técnica, não foi com uma intenção facilitista, mas houve situações estranhas e estatisticamente atípicas”, defende o antigo presidente do IAVE.

Com um ano para arranjar uma nova solução, esta não foi perfeita, mas foi mais controlada. “A pandemia continuou, e nem todas as escolas estavam a cobrir o programa de forma minimamente aceitável. Mas já foi possível controlar as cotações e garantir que as perguntas alternativas eram equivalentes em termos de dificuldade”, argumenta Hélder Sousa. “Um aluno disciplinado não olha para aquele bloco como respostas opcionais: responde a todas, sabendo que só as que tiverem maior cotação contarão para a nota.” Mas este é um jogo que nem todos os alunos conseguem jogar.

O futuro próximo dos exames não trará grandes novidades. Este ano, nos exames nacionais que quarta-feira terminaram a sua primeira fase, o bloco opcional manteve-se e a investigação mostra que neste tipo de provas as notas melhoram ligeiramente. “A média de 2019 aproxima-se de 2021 e em 2022 ainda se vai manter a mesma estrutura, estando o Ministério da Educação inclinado para mantê-la. Não discordo dessa opção, mas estaremos a criar uma série nova de exames”, alega Hélder Sousa.

Os alunos que fizeram exames levavam dois anos de pandemia na mochila

A estrutura do exame explica uma parte, mas não explica tudo. A pandemia e as suas consequências nas escolas também tiveram o seu papel. Em 2020, os alunos prepararam-se muito para o exame, defende Manuel Pereira, presidente da Associação Nacional de Dirigentes Escolares (ANDE), que acredita que a disparidade dos resultados estará ligada fundamentalmente às diferentes condições sócio económicas.

Se temos escolas como a Secundária das Flores (Açores), a Engenheiro Dionísio Augusto Cunha (Nelas) ou a Pedro Álvares Cabral (Belmonte) com quedas superiores a 4 valores, temos 23 estabelecimentos de ensino onde a queda é inferior a 0,5 valores. As 9 subidas são todas residuais, exceto uma: a Secundária Matilde Rosa Araújo, em Cascais, que sobe quase 2 valores, passando de uma média de 7,62 para 9,56.

“Cada caso é um caso. Há um fator de ordem nacional, e esse foi a pandemia, que influenciou todas as escolas. Mas não foram todas afetadas da mesma maneira, teve a ver com o perfil da escola, com a sua organização interna, com as famílias dos alunos. É difícil encontrar uma explicação que não se prenda com a realidade local”, diz Manuel Pereira. Na sua escola, em Cinfães, teve professores que faltaram muito durante a pandemia. Noutras regiões do país, poderá ter sido diferente. “Cada comunidade foi afetada de forma diferente, isso é natural. Além disso, as regras da pandemia, as quarentenas e os isolamentos, eram muito pesadas.”

Sobre os resultados de 2021, lembra que foram feitos por estudantes que viveram dois anos letivos em pandemia. “Houve graves prejuízos. Perdeu-se muito nesses dois anos, não foram nada positivos para a aprendizagem e sucesso escolar.”

Queiroz de Melo concorda. O menor número de aulas em presença, ao longo de dois anos letivos, também leva a uma natural queda das médias. “Faz algum sentido que haja uma queda depois de termos vivido dois anos de pandemia. O ensino à distância não foi mau, mas não é a mesma coisa. E é normal que haja quedas abruptas em algumas escolas: uma foram mais fustigadas pela pandemia, outras menos, umas estavam muito preparadas para usar o computador e as aulas à distância e outras não.”

E são essas características muito individualizadas que a diretora Ana Cláudia Cohen aponta: o ambiente que se viveu em cada escola, o número de casos de Covid-19 e a intermitência com que professores e alunos fizeram quarentenas ajuda a explicar a diferença de médias de escola para escola, defende a vice-presidente do Conselho de Escolas.

“Numa escola pequena como a nossa, em que temos três turmas de 12.º ano, se estiverem a rodar em casa, se a professora estiver em casa, há consequências. No nosso caso, por causa do desfasamento de horários, os mais velhos ficaram no horário da tarde, o que não é habitual e sentimos que não se orientaram em casa de manhã para estudar”, detalha a diretora do Agrupamento de Escolas de Alcanena, que aponta o número menor de respostas opcionais como um dos motivos para as médias terem andado para trás este ano.

É impossível fugir à estrutura do exame quando se procura uma justificação. Para Lurdes Figueiral, prestes a deixar o seu cargo de presidente da Associação de Professores de Matemática ao fim de 11 anos, as comparações são sempre difíceis. Há fatores, que mesmo não parecendo os mais relevantes, podem determinar a prestação do aluno no exame, como um estado de maior ansiedade até por motivos alheios à prova.

“De qualquer maneira, penso que houve dois fatores determinantes: os alunos sofreram um efeito cumulativo das consequências da pandemia, foram afetados durante dois anos consecutivos, e isso teve influência nas notas de 2021. E acredito que nas notas dos exames deste ano também ainda venha a verificar-se”, diz a professora. O segundo fator é a estrutura do exame. “No ano anterior havia mais perguntas de opção, podiam escolher mais facilmente o que podiam resolver. E isso pode ter influenciado a subida de então e a descida de agora.”

A todas estas explicações, o presidente da Associação Nacional de Diretores de Agrupamentos e Escolas Públicas (ANDAEP) acrescenta mais uma. Quando, depois de várias semanas em casa, os alunos do secundário voltaram para as escolas em 2020, o trabalho presencial foi muito concentrado nos exames, mais do que em qualquer outro ano. Esta é a convicção de Filinto Lima, que acredita que os professores fizeram de tudo para evitar que o ensino à distância prejudicasse os jovens que queriam seguir para o ensino superior. “A possibilidade de desdobrar turmas, ficando cada professor com menos alunos, ajudou a aumentar a qualidade do ensino”, defende o diretor de um agrupamento em Vila Nova de Gaia.

“O ano seguinte foi normal em termos de lecionação, embora com uma grande intermitência na presença de alunos e professores, por motivos de saúde, nas escolas. Isso tornou mais difícil a gestão do currículo, mas não houve a preocupação de preparar os alunos para os exames da forma intensiva a que assistimos no ano anterior”, conclui o diretor. Escusando-se a comentar o grau de dificuldade dos exames nacionais de um ano para o outro, Filinto Lima prefere recordar a inovação de ter perguntas opcionais e de como isso terá ajudado a melhorar as notas dos alunos.