Exerço o direito de resposta ao artigo de Alexandre Homem Cristo (AHC), intitulado “Fake news educativas”, por três razões principais. Em primeiro lugar, porque o tema das fake news não é um fait divers para a qualidade das democracias, razão pela qual não se deve legitimar pelo silêncio uma tentativa de acusação da sua promoção. Em segundo lugar, pela consideração que AHC me merece enquanto analista e comentador, não obstante as nossas naturais e saudáveis divergências políticas. Finalmente, deixando o mais importante para o fim, pela importância que tem para o sistema educativo nacional que haja objetividade e rigor no debate público sobre qualquer assunto que impacte na qualidade das aprendizagens dos alunos.
Defende AHC uma tese conspirativa segundo a qual o IAVE, em conluio com o Ministério da Educação, construiu uma realidade alternativa sobre os resultados do teste PIRLS, procurando mostrar uma melhoria inexistente dos desempenhos dos alunos ou uma qualquer legitimação dos resultados de instrumentos de aferição nacionais.
Antes de responder às premissas e argumentos de AHC, gostava de tecer duas considerações preliminares:
- Enquanto responsável político no setor da educação há mais de sete anos, sempre defendi que as políticas públicas se devem basear em evidências e opções. Os dados são fontes de informação e não são inerentemente maus ou bons. São o que são e devem ser um dos principais suportes para as opções que se tomam. É por isso que o Ministério da Educação tem vindo a trilhar um caminho de aumento de transparência, tendo passado, por exemplo no âmbito do Infoescolas, de 9 indicadores de desempenho do sistema para 88 indicadores ou funcionalidades dos sistemas de informação. Exatamente porque não se temem os dados e porque se rejeitam leituras simplistas de sistemas complexos.
- Os resultados das políticas educativas nunca são imediatos e nunca permitem avaliações repentistas ou de nexos de causalidade redutores. Quando foram apresentados os resultados das Provas de Aferição de 2022, houve sempre cautela na interpretação dos mesmos e foi sempre referida a necessidade de agregar dados de várias fontes: estudos nacionais de provas públicas e não públicas, estudos internacionais e todas as informações recolhidas através dos diferentes instrumentos de monitorização da recuperação das aprendizagens. Rejeitam-se, pois, as tentativas de extrapolação de resultados a partir de realidades de outros países ou meras projeções que comparam dias de pausa em períodos de férias com dias de encerramento de escolas durante a pandemia, como se as circunstâncias fossem comparáveis ou como se a pandemia não tivesse trazido consigo outras consequências, por exemplo ao nível da saúde mental (que o Ministério da Educação também tem vindo a monitorizar). Qualquer avaliação deve, pois, ser integrada, beneficiar de múltiplas fontes, cruzada e constantemente questionada. Não é ao Ministério da Educação que se devem atribuir declarações sobre alegados milagres de recuperação das aprendizagens em Portugal, mas sim a vários comentadores que tentam fazer leituras rápidas de dados, como se apenas existisse avaliação externa.
Passemos, pois, aos dados do PIRLS 2021 e aos comentários e “denúncias” de AHC.
AHC alega que Ministério e IAVE constroem uma narrativa sobre melhoria de resultados, quando efetivamente pioram, comentando de forma irónica a minha surpresa positiva. Tivesse tido oportunidade de analisar o relatório PIRLS com detalhe e AHC teria concluído que este tem características peculiares e que merecem uma leitura cuidada. Vejamos: em 2016, houve duas modalidades de testagem – leitura em papel e o designado ePIRLS que, globalmente, afere a leitura em hipertexto. Em 2021, há uma amostra principal em formato digital e uma amostra de controlo em formato papel. A opção metodológica do PIRLS consiste em construir uma comparação de resultados entre as duas amostras principais, contrastando os da leitura em papel em 2016 com os da a leitura em formato digital em 2021. Feita esta comparação, o resultado global de Portugal cai de 528 pontos para 520 (numa escala potencial de 0 a 1000, em que os desempenhos mais elevados atingidos rondam os 600 pontos). Estes resultados são públicos e assim foram apresentados.
Esta opção de apresentação de resultados, em função das amostras, faz com que, na escala global de desempenhos, estejam países que fizeram a prova apenas em formato digital, em ambos os formatos (caso de Portugal) ou apenas em papel (caso dos Estados Unidos da América). Dispondo Portugal daquilo que a própria instituição responsável pelo estudo (a IEA) constituiu como uma amostra robusta para a análise da variação de modo, torna-se legítima a comparação entre os resultados da amostra em papel com os resultados de 2016, como critério para avaliar estes efeitos. Nada mais do que isto foi feito na sessão com jornalistas: todos os dados foram apresentados, mostrando-se que há, para os alunos portugueses, uma pioria dos resultados entre amostras globais, uma melhoria tímida no desempenho em papel (utilizando o que a própria IEA estabelece como instrumento para controlo de variação de modo) e uma pioria na leitura em formato digital. Fez-se uma mera apresentação descritiva, sem os clamores de vitória descritos na fantasiosa narrativa de AHC.
O que deve suscitar uma apreciação positiva é o facto de, nos dados até agora disponíveis, nacionais e internacionais, não haver uma queda a pique nos resultados, apesar dos dois terríveis anos de pandemia, o que significa que há eficácia no trabalho desenvolvido pelas escolas.
Este artigo de AHC fez-me lembrar os êxtases de alguns ex-governantes com resultados de outras provas internacionais, que critiquei. Onde é que uma melhoria de 3 pontos nesta escala é uma melhoria notável e digna de vitória? O que motiva a surpresa positiva é a estabilidade que revela, apesar da pandemia.
A mesma descrição, com todas as cautelas que inspira, tendo em conta o facto de os resultados globais para os diferentes anos conterem modos diferentes de realização das provas, mostra que a queda dos resultados dos alunos portugueses é menos acentuada entre 2016 e 2021 do que entre 2011 e 2016 (em que se passou de 541 pontos para 528). Uma abordagem pouco séria, repentista, populista e básica, diria que as políticas desenvolvidas entre 2011 e 2016 foram mais nocivas do que uma pandemia. Mas isso não só não seria sério, como seria uma reprodução daquilo que critico: leituras apressadas dos indicadores de desempenho dos alunos.
Aliás, qualquer jornalista que tenha acompanhado não apenas a apresentação destes dados como as preocupações que o Ministério da Educação tem manifestado com os desempenhos dos alunos, sabe que ninguém canta vitória enquanto os resultados refletem, em primeira instância, desigualdades socioeconómicas das famílias, o que é mais uma vez confirmado por este estudo. Ninguém canta vitória enquanto verificamos dificuldades específicas na leitura extensiva de textos, nos processos inferenciais ou na relação entre diferentes leituras, como temos vindo a repetir em inúmeros contextos e que está na base da revisão de várias atividades do Plano Nacional de Leitura, da Rede de Bibliotecas Escolares e da formação de professores de português.
É, pois, infundada e pouco séria a tentativa de construção de um factoide segundo o qual Ministério e IAVE teriam tentado construir uma realidade alternativa e uma narrativa de desinformação.
AHC prossegue, construindo a sua argumentação muito em argumentos de autoridade com tudo o que tal comporta de falacioso, argumentando que houve uma tentativa de descredibilização dos instrumentos de avaliação do PIRLS. De novo, passemos aos factos e a uma leitura cuidada dos dados. Nas provas de aferição nacionais, os alunos podem ler as perguntas e consultar o texto ao mesmo tempo. Nos itens digitais do ePIRLS, aplicado em 2016, acontece o mesmo. Na generalidade dos itens principais do PIRLS 2021, as perguntas sobre o texto aparecem sobrepostas ao texto, tornando mais complexa a tarefa. Daqui resulta, conforme explícito no relatório, uma maior dificuldade generalizada na versão digital em todos os países. De novo, AHC tenta fazer desta descrição um caso político. Acontece que não é. Num momento de transição para provas digitais, é fundamental que tenhamos informação credível sobre os efeitos de diferentes formas de apresentação das questões aos alunos para controlo da variação de modo. Esta informação é essencial para se entender por que motivo este efeito é encontrado no PIRLS, mas não foi encontrado, de forma significativa, no ano de aplicação piloto das provas digitais nacionais.
Para AHC, há apenas a premissa de que o que é internacional é bom e o que é nacional é mau, pelo que o aprofundamento da compreensão das diferenças encontradas se torna irresponsavelmente irrelevante.
Finalmente, importa responder à acusação grave feita por AHC sobre a prática de apresentação dos resultados em sessões com jornalistas. Essa prática existe para que possa haver um tempo alargado de questões, técnicas e políticas, que beneficie uma divulgação mais atempada e de maior qualidade dos relatórios, para que as interpretações e leituras dos dados possam ser comentadas e contrastadas. Todos os anos isto tem sido feito com as bases de dados do Júri Nacional de Exames, com os indicadores do InfoEscolas, com os diferentes estudos nacionais que têm sido divulgados. Considerará AHC que os jornalistas, muitos deles especialistas em educação, e que por isso acompanham estes estudos internacionais há anos, são ingénuas criaturas que se deixam manipular por uma apresentação?
Ao contrário de AHC, não termino com sentenças, mas com a minha própria análise de intenções.
A pandemia teve um impacto terrível nos sistemas educativos de todo o mundo. Há quem queira dados rápidos e simples sobre esses impactos e recorra a métricas facilitistas. E há quem considere os impactos em toda a sua complexidade e recorra, por isso, a instrumentos de avaliação diversificados. AHC deixa de fora dados difíceis de interpretar, porque não encaixam nas leituras simplistas e nas métricas imediatistas que se limitaram a multiplicar dias de encerramento por regressão nas aprendizagens. A Suécia, por exemplo, que não encerrou as escolas do primeiro ciclo, tem uma queda nos resultados face a 2016 superior a Portugal, ainda que com níveis elevados de desempenho. Ao contrário do que fazem alguns dos nossos analistas, por lá, como tive oportunidade de constatar, em conversa com os governantes suecos, estuda-se o impacto da pandemia para lá do encerramento, considerando por exemplo o peso relativo do bilinguismo nas amostras, entre outros fatores. Lá, como cá, procura-se olhar para os resultados na sua complexidade.
Fora outro este Governo e estaríamos a cantar vitória por termos subido no ranking dos países do PIRLS (da 30.ª para a 22.ª posição ou para a 29.ª, consoante se excluam ou incluam, respetivamente, os países que aplicaram o teste um ano mais tarde).
Mas sabemos que não é por posições relativas em rankings que se avalia a qualidade dos sistemas educativos, mas sim pela análise integrada, continuada, sistemática e reflexiva dos resultados.
É isto que o Ministério da Educação tem vindo a fazer e continuará a fazer. É isto que AHC, surpreendentemente, não faz no seu artigo. Pelo contrário, tenta descredibilizar o IAVE (que só é bom quando faz exames, não quando faz provas de aferição!) e, por essa via, tenta criar um folhetim político.
