Sou daqueles que consideram que a informação deve circular o mais livremente possível. Por isso, sempre fui, e sou, a favor de que sejam divulgados os resultados que os alunos têm nos exames. É uma informação que se for bem utilizada é muito útil, quer para as escolas quer para os pais. Mas, antes de se fazer um ranking de escolas, é necessário perceber o que, de facto, se está a avaliar. O mais importante é perceber que os exames avaliam os alunos e não as escolas. É uma verdade de La Palice, mas que parece muito esquecida. Para passar de um ranking de alunos para um ranking de escolas é essencial estimar qual o valor acrescentado que cada escola dá ao aluno. E, para fazer isso, o primeiro passo é filtrar os outros factores explicativos das notas dos alunos.

Por exemplo, o nível socioeconómico e cultural da família é um factor importante para explicar o sucesso de um aluno. Há várias variáveis que medem este aspecto: rendimento familiar, escolaridade e estatuto profissional dos pais (aqui é particularmente importante saber se o desemprego atingiu a família), se tem graves problemas familiares, etc. Mas filtrar os factores que explicam o sucesso de cada aluno não é suficiente. Se se quer passar de um ranking de alunos para um ranking de escolas, é ainda necessário filtrar os efeitos de selecção das escolas. Uma escola que tenha mecanismos formais ou informais de selecção de bons alunos vai, evidentemente, ter estudantes com melhores notas.

Para se poder ver estes efeitos, basta considerar este exemplo típico, retirado do Público:

Quer o Colégio São João de Brito quer o Instituto Inácio Loyola são jesuítas, têm os mesmos métodos de ensino, um quadro docente empenhado, etc. Mas um aparece no top-5, o outro, localizado em Cernache, nos arredores de Coimbra, está em 472º. Não conheço os colégios em detalhe para poder ser afirmativo, mas desconfio que a diferença está na localização e na capacidade de fazer selecção de alunos. O mais mal classificado, tendo um contrato de associação, não pode escolher os seus alunos. Com base nesta informação, é legítimo concluir que o segundo colégio não presta? Obviamente que não, só um estúpido poderia afirmar tal coisa. Muito possivelmente, estão a fazer o melhor possível com a matéria-prima de que dispõem. E sobre o Colégio São João de Brito, o que se pode dizer? Evidentemente que é um bom colégio. Independentemente de todas as outras explicações, se a escola não funcionasse bem, se não tivesse professores e estudantes empenhados e motivados não seria possível ter alunos com resultados tão bons. Mas, simplesmente, não é possível saber se são ou não a 4ª melhor escola do país.

Como se faz então um ranking bem feito? O ideal seria fazer experiências aleatorizadas, como se de um ensaio clínico se tratasse, mas, em Portugal, não deve ser possível obter autorização para fazer isto. Não sendo possível, o melhor que se pode fazer é trabalhar estatisticamente a informação disponível. Basicamente, é necessário aceder aos dados dos alunos — notas passadas, rendimentos dos pais, escolaridade dos pais, etc. —, a alguns dados sobre as escolas — localização, propinas, se faz selecção de alunos ou não, etc. — e depois usar estatística multivariada (provavelmente, um modelo multinível ou hierárquico) que permita controlar para todos estes factores, captando assim o efeito de cada escola. Quando isto for feito, podemos falar de um ranking de escolas. Já agora, a mesma metodologia poderá ser aplicada para avaliar professores naquela que é uma das suas principais funções: ensinar.

Rankings mal feitos, como os actuais, podem ter efeitos perversos, como levar a que alunos fujam de boas escolas, para irem para escolas com melhor posição, criando assim um mecanismo que se reforça a si mesmo, agravando o mecanismo de selecção e reduzindo ainda mais a utilidade dos rankings.

Do que escrevi, percebe-se que fazer um ranking bem feito levanta problemas complicados. Desde logo porque há quem não queira; por exemplo, alguns os colégios privados têm-se recusado a dar informação sobre estatuto socioeconómico alunos. Depois, é necessário cruzar dados de diversas fontes, o que levanta problemas técnicos e, eventualmente, de confidencialidade. Todos estes dados têm de ser anonimizados e a sua disponibilização ao público (seja ao grande público seja apenas à comunidade científica) terá de passar pelo crivo da Comissão Nacional de Protecção de Dados. É verdade que os dados disponibilizados pelo Ministério da Educação, caracterizando alguns dados socioeconómicos das escolas públicas, têm melhorado, mas ainda estão longe daquilo do que é necessário. De certeza que no Ministério da Educação estão a trabalhar com este propósito e já não deve faltar muito para que haja dados que permitam avaliar as escolas.

É que há 15 anos que se anda a brincar aos rankings e ou isto se faz bem feito ou então não vale a pena.