Os resultados do PIRLS 2021 (avaliação internacional de referência para aferir competência leitora no 4º ano) foram publicados e vieram reforçar o óbvio: os desempenhos dos alunos portugueses pioraram durante os anos da pandemia, como aconteceu transversalmente por todo o mundo — não existe excepcionalismo português. Em números, Portugal obteve um desempenho de 520 pontos, o que fica abaixo dos ciclos de avaliação anteriores: 541 no PIRLS 2011 e 528 no PIRLS 2016 (relatório PIRLS 2021, p.36). Ora, por razões que ultrapassam a minha compreensão, o Ministério da Educação exibe uma tremenda dificuldade em aceitar esta evidência. Consequentemente, desdobra-se em manobras para encontrar melhorias e declarar vitórias onde estas não existem, ultrapassando as fronteiras do bom-senso e da seriedade analítica dos dados. Não é a primeira vez que acontece e, desta vez, fê-lo em dois passos que merecem ser denunciados — com enviesamentos técnicos que procurarei tornar facilmente perceptíveis.
Em primeiro lugar, o Ministro da Educação, João Costa, declarou-se “surpreendido pela positiva” pelos resultados, pois neles encontrou uma melhoria dos alunos portugueses, quando (por causa da pandemia) seria de esperar danos mais efectivos na aprendizagem das crianças. Pergunta: como é que, quando os resultados oficiais mostram uma pioria, o Ministro da Educação encontra uma melhoria? O raciocínio (que o IAVE disseminou no seu relatório nacional e numa brochura síntese) baseou-se numa desconstrução da amostra dos alunos avaliados. Em vez de considerar todos os 8209 alunos portugueses avaliados, o governo e o IAVE optaram por diferenciar os 6111 alunos que realizaram a prova em formato digital (75% da amostra) e os 2098 alunos que a realizaram em papel (25% da amostra), para explorar a comparação do PIRLS 2016 com a minoria que a realizou em papel no PIRLS 2021. Ora, face aos alunos com provas digitais (520 pontos), os alunos que realizaram a prova em papel obtiveram um desempenho médio superior (531 pontos), o que corresponde a +3 pontos do que os alunos do PIRLS 2016 (e +11 pontos do que os alunos do digital no PIRLS 2021). Vitória, vitória, vitória.
Só que há um problema: a comparação usando exclusivamente os alunos com provas em papel não é válida pelos parâmetros do PIRLS, por várias razões. Primeira razão: os resultados oficiais são idênticos aos obtidos em formato digital e são esses que servem de referência comparativa. A sub-amostra dos alunos com provas em papel existe para fins de verificação interna da consistência dos resultados (verificar se há variações entre o papel e o digital que interfiram com os resultados globais) e para assegurar comparabilidade (fazer a “ponte”) em relação aos PIRLS de 2016 e de 2011. Segunda razão: o teste da sub-amostra dos alunos com provas em papel é diferente do teste do formato digital — em papel, estão as questões de tendência, para assegurar comparabilidade (a “ponte”) em relação ao passado, mas não estão todas as questões que constam no digital. Terceira razão: mesmo que se ignorasse tudo isto, não se poderia ignorar a dimensão da sub-amostra (2098 alunos), muito inferior ao patamar mínimo (4000 alunos) exigido pelo PIRLS e outras avaliações internacionais para obter resultados representativos e válidos. Ou seja, ao escolher distinguir e destacar a sub-amostra dos alunos com provas em papel, o ministro e o IAVE fizeram uma interpretação à la carte dos resultados do PIRLS 2021, sem validade científica e sem qualquer consistência, pelo que tal interpretação não se encontra (para nenhum país) no relatório oficial dos resultados.
Em segundo lugar, o IAVE e João Costa justificaram os resultados piores dos alunos com provas digitais através de uma alegada incompetência técnica do PIRLS. Repare-se no dilema argumentativo. Quando o presidente do IAVE e João Costa afirmam que afinal os alunos portugueses melhoraram, porque nas provas em papel os desempenhos foram melhores do que em 2016, vêem-se na obrigação de explicar o que correu mal nas provas digitais, onde a pioria foi evidente face a 2016 — mas não podem afirmar que são os alunos que estão incapacitados para o digital, pois tal contraria o que têm afirmado a propósito das provas de aferição portuguesas, que estão em curso em formato digital. Solução escolhida: culpar a plataforma internacional do PIRLS. Nas palavras do ministro, no PIRLS houve “uma mera transposição do papel para o digital”, tornando a plataforma desadequada e impedindo por exemplo que os alunos consultassem os textos dos exercícios enquanto respondiam às questões de compreensão (alegadamente, teriam de memorizar a informação, em vez de a poder consultar).
O argumento é estapafúrdio e consiste em colocar em causa a credibilidade do PIRLS e a validade internacional (!) dos resultados desta avaliação de referência: afinal, João Costa está a alegar que a plataforma do PIRLS foi mal concebida, com problemas de usabilidade que influenciariam negativamente o desempenho dos alunos, tornando os resultados não-representativos do seu conhecimento. Trata-se de um argumento extremamente implausível, por várias razões. Primeira razão: o PIRLS é realizado por uma entidade altamente especializada (EIA) que aplica avaliações deste tipo há 65 anos, reunindo os melhores especialistas internacionais em avaliação de alunos e preparando as provas e as plataformas durante anos, pré-testando a validade de cada questão assim como da própria plataforma. Segunda razão: o PIRLS é uma prova internacional aplicada a 400 mil alunos em 65 países ou regiões, não há registos de queixas como aquela que João Costa fez e, last but not least, a diferença média internacional entre os resultados das provas digitais e das provas em papel foi de 0 pontos (cf. página 9 do relatório do IAVE), quando em Portugal foi de 11 pontos, sugerindo que o “problema” não está na plataforma mas sim no caso específico de Portugal. Terceira razão: as três demonstrações de questões em formato digital que existem, em vídeo no site do PIRLS, permitem constatar que os problemas que o ministro da Educação apontou não se confirmam na realidade (vídeos exemplificativos aqui, aqui e aqui).
Concluo como uma outra denúncia e uma sentença. A denúncia: o Ministério da Educação tem uma prática de divulgação de dados de avaliações dos alunos que é promotora de desinformação, pois primeiro conhece-se a interpretação do ministro e só depois se acede aos resultados oficiais. A estratégia prejudica o trabalho dos jornalistas, que têm de escrever sob pressão as primeiras notícias acerca do tema, sem acesso atempado e pleno à informação, ficando mais dependentes das versões do Ministério da Educação — e assim o governo consegue guiar o debate público para o lado que lhe interessar. O procedimento já havia sido aplicado no passado e repetiu-se com o PIRLS 2021: na véspera da divulgação oficial dos resultados, o governo convocou conferência de imprensa para a comunicação social, fez a sua análise dos resultados e entregou as sínteses do IAVE, que incluem os dados da sub-amostra das provas em papel, que não constam do relatório oficial do PIRLS 2021 e que não têm validade para comparações. Tudo isto de modo a inundar as peças jornalísticas (e, consequentemente, o debate público) com uma ilusão de sucesso educativo — tal como havia feito (e eu criticado) com as provas de aferição de 2022, a partir das quais o ministro declarou o sucesso da recuperação da aprendizagem pós-pandemia (em contraciclo praticamente com o mundo inteiro).
A sentença é que as opções técnicas do IAVE na análise do PIRLS 2021 (nas quais o ministro se apoiou) geram dúvidas sobre o seu rigor científico, às quais acresce a coincidência de estas opções técnicas duvidosas favorecerem politicamente a narrativa do ministro da Educação. Inevitavelmente, isto afecta a imagem externa e a credibilidade institucional do IAVE, que deve permanecer independente. É realmente lamentável que a entidade de monitorização da avaliação educativa em Portugal se deixe colocar nesta posição.
O resumo é este: o ministro da Educação (com o apoio do IAVE) condicionou a interpretação dos resultados do PIRLS 2021, alegando uma melhoria dos alunos portugueses que não existe e construindo uma narrativa de desinformação. Sinto que já gastei as palavras para expressar a manipulação que tem sido feita à volta das avaliações externas dos alunos, pelo que dispensar-me-ei de insistir na constante desvalorização dos factos em benefício de narrativas políticas nos últimos anos — acerca dos efeitos da pandemia na aprendizagem, acerca da ausência de medição de impacto do plano de recuperação da aprendizagem, acerca da utilidade e comparabilidade das provas de aferição. O PIRLS 2021 é apenas o último episódio desta série. E a conclusão é sempre a mesma: quem vai pagar a factura serão os miúdos a quem vendem ilusões.
