Muita gente ficou intrigada com os resultados do ensino privado no PISA 2018 – que dá um trambolhão tremendo – e tem-se entretido a avançar, ou mesmo inventar, respostas para aquilo que é, de todos os ângulos, um resultado absolutamente anormal e contraditório. Mas, como abaixo se verá, todas essas respostas estão erradas. Isto porque nenhuma consegue explicar como é que, em 3 anos e após 15 anos de avaliações PISA, a composição social das escolas privadas se alterou dramática e bruscamente (empobrecendo) — ainda por cima, quando a economia até está a crescer. Excluídas as várias hipóteses sociais e sistémicas, há uma que se assume como a mais provável: poderá existir um erro metodológico na análise de Portugal no PISA 2018. Vamos por partes.

1: o primeiro facto. Um dos aspectos que se destacou nos dados do PISA 2018 foi a inexistência de diferenças significativas na composição social das escolas públicas e das escolas privadas. Ou seja, os dados revelaram que, contrariamente a dados anteriores, as escolas públicas e as escolas privadas servem uma população muito semelhante – tanto numas como noutras existem alunos socialmente desfavorecidos e alunos socialmente favorecidos em proporção semelhante, mesmo que prevaleça ainda alguma “vantagem social” para as escolas privadas. Numa frase, o perfil social das escolas privadas, tradicionalmente muito mais elevado do que o das escolas públicas, baixou de forma relevante e significativa entre 2015 e 2018, aproximando-se do perfil das escolas públicas. Essa foi uma das notas que destaquei na minha primeira análise aos resultados do PISA 2018, no dia da sua publicação. E os dados são tão elevados como difíceis de contextualizar. Por exemplo, a percentagem de alunos desfavorecidos nas escolas privadas triplicou, entre 2015 e 2018, de 10,8% para 30,3% (mantendo-se inalterada nas escolas públicas). Ou, por exemplo, o Estatuto Económico Social e Cultural dos alunos no privado passou de 0,52 (positivos) para -0,12 (negativos), enquanto nas escolas públicas se manteve inalterado nos -0,44 (negativos).

2: o segundo facto. Na Educação, sabe-se que o perfil socioeconómico dos alunos é o factor mais fiável para prever o seu sucesso escolar. E, em Portugal, sabe-se igualmente que essa correlação entre perfil socioeconómico e desempenhos escolares é particularmente forte. Assim sendo, verificando-se uma diminuição do perfil socioeconómico dos alunos do privado no PISA 2018, não surpreende que os seus resultados também tenham sido inferiores (e de forma muito relevante) aos de avaliações anteriores. Aliás, foi mesmo uma queda com estrondo. Entre o PISA 2015 e o PISA 2018, os alunos do privado perderam (em média) 48 pontos de desempenho, colocando-se numa posição semelhante à dos alunos do ensino público — algo que não só nunca havia acontecido em Portugal como não é normal acontecer em lado nenhum, face às vantagens sociais de quem tem condições para pagar propinas e frequentar o ensino privado. Ou seja, tal como o perfil social se alterou significativamente, os resultados dos alunos do ensino privado também caíram em flecha.

3: uma explicação óbvia e correcta. Os factos do PISA 2018 são estes. Agora vamos às explicações: o que está por detrás desta queda dos alunos do ensino privado? A resposta óbvia seria associar os desempenhos e o perfil socioeconómico, no seguimento da relação dos pontos acima. Nuno Serra, que trouxe à discussão um conjunto de dados do PISA que espelham a situação de uma forma clara, fá-lo. Esta é a resposta evidente e a mais correcta, por duas razões. Primeiro, porque ambos os indicadores (perfil socioeconómico e desempenhos escolares) caem de forma muito acentuada. Segundo, porque a literatura académica estabelece uma fortíssima relação entre estes dois, pelo que é apenas expectável que oscilações tão fortes num lado venham acompanhadas de oscilações elevadas do outro lado.

4: uma explicação errada. Outras explicações que têm sido avançadas estão, a meu ver, erradas. A primeira é do próprio Nuno Serra, que levanta ainda a possibilidade de se terem “intensificado, em muitas escolas privadas, as lógicas de «preparação intensiva para os exames», em linha com a sobrevalorização desta modalidade de avaliação durante o consulado de Nuno Crato”. Esta hipótese tem três problemas, que no seu conjunto a desqualificam. Primeiro, Serra parte do pressuposto que as escolas privadas “intensificaram” uma prática pedagógica de preparação dos alunos para as avaliações externas. Ora, isto é pura especulação, visto que não há qualquer indicador que aponte para essa “intensificação”. Segundo, se esta “intensificação” tiver existido e tiver surgido como reacção à implementação das provas finais do 4.º e 6.º anos (introduzidas por Nuno Crato), não se aplicaria apenas às escolas privadas, pois as escolas públicas também se sentiram mais escrutinadas pela introdução dessas provas finais – e não faltam relatos de professores de escolas públicas que então admitiram uma “intensificação” das suas aulas para uma melhor preparação dos alunos para os exames. Terceiro, é infundado o pressuposto de Serra, de que a existência de avaliação externa sistematizada nas escolas prejudica a aquisição de competências dos alunos e faria baixar os desempenhos dos alunos tal como são medidos pelo PISA – muito pelo contrário, há investigação que confirma a fiabilidade da medição do PISA como um instrumento tão válido como os exames do 9.º ano, além de haver ainda quem demonstre que a existência de avaliação externa sistematizada promove melhorias de desempenhos no PISA.

5: outra explicação errada. Esta hipótese acima de Nuno Serra, que considero errada, foi apoiada por Luís Aguiar-Conraria, que a desenvolveu juntando mais dados à discussão. Um estudo recentemente publicado teve como objectivo medir a performance dos estudantes que entraram no ensino superior em duas universidades portuguesas e, a partir dessa análise, retirar conclusões sobre a sua formação escolar — construindo, inclusive, um ranking alternativo das escolas, no qual as escolas privadas se classificam muito pior do que nos rankings “tradicionais”. Ou seja, de forma sintética, o estudo demonstra que os alunos oriundos de escolas privadas para essas duas universidades, mesmo que com desempenhos académicos muito elevados, aparentam estar menos bem-preparados para os desafios do ensino superior (que requerem um conjunto de competências mais abrangente do que apenas ter “boas notas”). Aguiar-Conraria recorda, de resto, que algumas escolas têm sido alvo de queixas de inflação das notas internas, de modo a também inflacionar a probabilidade de os seus alunos conseguirem entrada no ensino superior nos cursos mais competitivos.

Ora, tudo isto é interessante e merece discussão, independentemente das limitações próprias do estudo em causa. E não é novidade: já se conheciam resultados similares de um estudo anterior. Só que, mesmo que explique outras coisas, nada disto explica a queda dos resultados do ensino privado no PISA 2018 face a avaliações anteriores do PISA. E, portanto, ao contrário do que afirma Aguiar-Conraria no parágrafo final do seu artigo, nada disto confirma a hipótese de Nuno Serra. Porquê? A começar, porque os anos de referência do estudo são de 2013/2014 a 2015/2016. Ou seja, se os estudantes entraram no ensino superior nesses anos lectivos, então teriam 15 anos (idade de medição do PISA) três anos antes. O que, na prática, significa que alguns desses estudantes estão “cobertos” pelo PISA 2012 e anteriores, mas não pelos seguintes (PISA 2015 e PISA 2018). Ora, o que se verifica é que, no PISA 2012, os resultados dos alunos do ensino privado foram muito mais elevados do que os do ensino público. De qualquer modo, aconteceu o mesmo no PISA 2015: resultados muito elevados dos alunos das escolas privadas. Mas já não aconteceu o mesmo no PISA 2018. Assim, nada deste estudo ajuda a perceber o que mudou, entre 2015 e 2018, porque o estudo não retrata uma prática implementada a partir de 2015, mas algo que as escolas têm feito desde há largos anos (e com bons resultados nos vários PISA). Conclusão: estas falhas nos colégios (que existem e que devem ser assinaladas e corrigidas) não estão relacionadas com a queda de resultados do PISA 2018. São assuntos distintos.

6: a pergunta que interessa. A pergunta mais interessante e a que importa verdadeiramente responder é esta: como é que se explica que a composição social das escolas privadas tenha mudado de forma tão dramática no PISA 2018 face ao passado, empobrecendo muito o perfil social dos seus alunos, quando nada no país (político, económico ou social) justifica essa mudança? A resposta a esta pergunta-chave explicará tudo o resto, nomeadamente a queda dos desempenhos dos alunos no ensino privado, que está fortemente associado ao perfil social. Ora, no plano teórico, há dois tipos de possibilidades de resposta: pode tratar-se de uma questão metodológica no PISA 2018 ou pode tratar-se do reflexo de alguma medida de política pública de grande impacto (por exemplo, a acentuada redução dos contratos de associação, como já há quem acuse). Os dados não apoiam que seja a segunda.

7: isto não tem nada a ver com os contratos de associação. No ano lectivo 2014/2015, havia 315.950 alunos matriculados no 3.º ciclo do ensino básico (ensino regular). No ano lectivo 2017/2018, eram 306.404 alunos matriculados nesse mesmo nível de ensino. Ou seja, nesse intervalo de tempo, o sistema educativo perdeu cerca de 9500 alunos no 3.º ciclo do ensino básico. Curiosamente, nesse período, o número de alunos matriculados em colégios privados não diminuiu, mas aumentou cerca de 3 mil alunos: de 17.594 (2014/2015) para 20.548 (2017/2018). Como foi possível? Simples: acabaram-se muitos contratos de associação. Em 2014/2015, eram 23.421 alunos no 3.º ciclo do ensino regular a frequentar colégios sem pagar propinas, ao abrigo dos contratos de associação, tendo esse número sido reduzido, em 2017/2018, para 15.534 (ou seja, uma perda de quase 7900 alunos). Parece seguro concluir-se que, apesar da queda demográfica que afectou as escolas públicas, o aumento das matrículas no ensino privado se deveu a uma parte importante dos alunos que perderam os seus contratos de associação — as suas famílias escolheram suportar o peso das propinas. Refira-se, ainda, que algo de semelhante sucedeu ao nível do ensino secundário (vias cientifico-humanísticas). Entre 2014/2015 e 2017/2018, o fim dos contratos de associação levou uma parte significativa desses alunos a optar pelo ensino privado, com as famílias a assumir as despesas com as propinas.

O problema aqui é este: esta transferência de alunos dos contratos de associação para o ensino privado, contudo, não explica o que aconteceu no PISA 2018 — que foi uma profundíssima ruptura com o padrão nacional e internacional do perfil social dos alunos do ensino privado. Não explica por duas razões. Primeiro, porque as escolas com contrato de associação têm uma “natureza administrativa privada”, o que, por critérios do PISA, as coloca na classificação “escolas privadas”. Portanto, mesmo que os alunos desfavorecidos passassem de um contrato de associação para um colégio com propinas, para efeitos do PISA permaneceriam dentro de uma “escola privada” — a mudança é nula em efeitos para esta categorização simplista. Segundo, independentemente de tudo o resto, mesmo que a questão da categorização não se colocasse, estaríamos sempre a falar de oscilações de número de alunos demasiado pequenas para justificar uma queda abrupta como aquela que o PISA 2018 apresenta. Não há como as duas coisas (resultados do PISA 2018 e fim dos contratos de associação) possam estar relacionadas.

8: um problema metodológico? Excluído o impacto dos contratos de associação, e não se vislumbrando outra medida que tivesse o potencial de alterar a composição social das escolas, a possibilidade que sobra é a existência de um erro metodológico. Quem mexe com dados estatísticos sabe que os erros acontecem e quem usa dados longitudinais sabe que deve desconfiar de alterações tão bruscas como aquelas que foram apresentadas no PISA 2018 para os alunos do ensino privado. E, por fim, sabe também que, muitas vezes, essas alterações não reflectem mudanças bruscas na realidade, mas apenas quebras de série e diferentes opções metodológicas. Creio ser esse o cenário mais provável aqui: seja na construção da amostra, seja na categorização dos dados, seja no tratamento da informação socioeconómica, algo do foro técnico esconde a explicação para os resultados serem tão diferentes dos de 2015 e edições anteriores. E é de lamentar que o IAVE, a entidade em Portugal responsável pela administração do PISA, tenha publicado estes resultados absolutamente “anormais” sem se sentir obrigado a dar explicações para o que aconteceu — nem que fosse para garantir que, mesmo anómalos, os dados haviam sido verificados e confirmados.

9: a conclusão. Portanto, sendo certo que desiludirá muita gente, a conclusão é esta: não sabemos o que aconteceu às escolas privadas no PISA 2018 para que a sua composição social fosse tão improvável e profundamente diferente da do PISA 2015 e anteriores – e até de padrões da OCDE –, numa espécie de empobrecimento súbito em que a percentagem de alunos desfavorecidos triplica e sobre a um terço do total (!). Mas sabemos o que não aconteceu: não foram os exames, não foi o fim dos contratos de associação, não foi qualquer falha das escolas privadas na formação dos seus alunos. E, assim sendo, o mais provável é que, se calhar, não tenha acontecido nada, a não ser um erro metodológico (seja na amostra, seja na recolha dos dados, seja no cálculo dos resultados). Em vez de lançar sentenças erradas sobre o ensino privado a partir dos resultados do PISA 2018, que são estatisticamente anómalos, há que considerar a hipótese de serem os resultados a estar errados e de ter existido um erro metodológico. Se for o caso, não é o fim do mundo — corrija-se. Mas tornou-se urgente que o próprio IAVE venha a público pronunciar-se sobre os dados e ajude a esclarecer este mistério.