À meia noite de sexta-feira para sábado saem os rankings das escolas. “Rankings” no plural porque a base de dados com os resultados dos alunos por escola permite várias utilizações – incluir (ou não) uma ponderação socioeconómica em virtude do perfil social dos alunos, incluir (ou não) as escolas com menos de 50 exames, incluir (ou não) estimativas de resultados esperados para cada escola, incluir (ou não) informação longitudinal que permita avaliar a evolução dos resultados dos alunos. Quando os rankings começaram a ser publicados, no início do século, estas escolhas metodológicas não eram possíveis – os dados não eram suficientemente completos. Hoje, mesmo que nem sempre nas melhores condições, os dados permitem uma análise estatística sofisticada – e tornou-se possível apertar a malha dos dados e retirar destes rankings uma informação de qualidade. A questão é se isso chega.

Como sempre acontece, a publicação dos rankings vem acompanhada de críticas à sua validade – algumas pertinentes, a maior parte nem por isso. Mas o maior problema dos rankings não está dentro nos rankings – que são uma ferramenta útil e que deve continuar a ser melhorada e desenvolvida. Está nas expectativas dos pais, os maiores consumidores dos rankings, que olham para aquelas tabelas em busca de respostas para as suas inquietações. Onde devo matricular o meu filho? Qual é a melhor escola da minha área geográfica? Devo optar pelo ensino público ou pelo ensino privado? Ora, se as perguntas são necessárias, nos rankings encontrar-se-á apenas uma parte da resposta. Afinal, a realidade é muito mais complexa do que supõe uma simples classificação de escolas por notas em exames nacionais.

A outra parte da resposta é o que motiva este ensaio, que tentará ir para além dos rankings. Note-se bem: o objectivo não é desvalorizar os rankings enquanto ferramenta, mas sim complementar a informação dos rankings com outras fontes. E assim evitar erros, desfazer mitos e realçar que quanto mais informação existir sobre a oferta educativa existente, melhores escolhas poderão os pais fazer para a educação dos seus filhos.

Não existe “a melhor escola”

Comecemos pelo erro principal: agarrar nos rankings ou em qualquer outra ferramenta classificativa em busca da melhor escola. Tal coisa não existe. “Melhor” é, por definição, um juízo relativo (é-se melhor ou pior por comparação a algo) e muitas vezes subjectivo (depende da valorização que se atribui a cada característica e isso varia de pessoa para pessoa). Aplicado às escolas, isso implica duas constatações. Por um lado, os alunos são diferentes entre si e, resultante dessa diversidade, não existe uma escola que satisfaça da melhor forma as necessidades de todos esses alunos – o que é melhor para um jovem não o é forçosamente para outro. Por outro lado, as prioridades e expectativas dos pais variam bastante entre si e influenciam os critérios de selecção da escola para os seus filhos.

Em Portugal, o desempenho escolar é considerado um dos factores mais importantes para os pais na hora de escolher uma escola (gráfico 1). Mas não é o critério fundamental, pois a ele sobrepõem-se a segurança, a reputação e o ambiente escolar. Ou seja, se é muito importante para um pai que a escola tenha um historial de bons resultados escolares, é ainda mais importante que o ambiente seja controlado e seguro. Sem surpresa, estas preferências das famílias portuguesas (que coincidem com os principais indicadores da OCDE para aferir a “qualidade da escola”) estão alinhadas com aquelas de outros países europeus, embora de forma mais vincada no caso português.

Mas há, mesmo assim, algumas diferenças quando se compara Portugal com outros países. E estas surgem, sobretudo, nos critérios secundários: para os pais portugueses, são mais valorizadas as questões económicas – proximidade da escola em relação à residência, custos de frequência e disponibilidade de apoios financeiros/ sociais. Ou seja, os critérios financeiros são particularmente relevantes em Portugal e podem mesmo ser determinantes para as famílias mais desfavorecidas, limitando a sua escolha (gráfico 2). Na prática, isto demonstra que o acesso à escola ainda não é equitativo e que essa realidade é, em Portugal, particularmente acentuada – as famílias mais desfavorecidas, face à sua condição financeira, sentem-se por vezes obrigadas a decidir mais em função dos custos do que em função das questões pedagógicas.

Olhando aos desempenhos escolares, o que distingue as escolas?

Evite ainda outra precipitação: sobrevalorizar pequenas diferenças de resultados escolares nos rankings. Não é comparando décimas nas notas dos alunos que vai chegar a alguma conclusão. Mais interessante é perceber que as diferenças de resultados (devidamente ponderadas em função do perfil social) pressupõem opções pedagógicas – umas que funcionam melhor, outras que funcionam pior. Se olharmos para os desempenhos dos alunos nos países da OCDE, constatamos que cerca de 40% da diferença de desempenhos dos alunos se explica por variações entre escolas – sendo que essas variações são menores nos países com melhores desempenhos no PISA.

Ora, em Portugal a diferenciação entre escolas é acentuada e, sem surpresa, essa diferenciação está relacionada com os desempenhos escolares. Ok, não é propriamente novidade afirmar que, ao longo dos anos, houve escolas com bons resultados consolidados e escolas com piores resultados. Por isso, mais vale ir logo ao que interessa: perceber o que distingue as escolas e explica o seu impacto (positivo ou negativo) na aprendizagem dos alunos. Sendo impossível retomar tudo, destacam-se aqui cinco aspectos fundamentais que explicam as diferenças entre escolas.

Primeiro: o perfil socioeconómico dos alunos dessa escola. Sim, em Portugal, a condição social está fortemente relacionada com os resultados escolares, pelo que, quanto mais elevado for o perfil socioeconómico médio dos alunos que frequentam a escola, mais elevados se espera que sejam os desempenhos escolares. Esta é a questão que mais vezes surge mencionada no debate público (muitas vezes pelos maus motivos) e é, sublinhe-se, uma tendência e não um determinismo – há felizmente quem trabalhe e consiga obter resultados acima do esperado. E são essas escolas que devem ser reconhecidas, as que puxam os seus alunos para cima e os fazem alcançar resultados acima do esperado. De acordo com a amostra do PISA 2012, há cerca de um terço das escolas cujos resultados superam a média da OCDE apesar de o seu perfil socioeconómico estar abaixo da média (gráfico 3).

Segundo: bons recursos humanos – isto é professores motivados e que se sintam valorizados. É um dos factos mais consolidados na investigação: dentro da escola, nenhum outro factor é mais determinante para a qualidade das aprendizagens do que o professor – a sua formação, a sua motivação, o seu reconhecimento profissional, a qualidade do seu trabalho. Como tal, não constitui surpresa que, na maioria das escolas portuguesas com elevados desempenhos no PISA 2012, os professores estejam motivados e se sintam reconhecidos (gráfico 4).

Terceiro: a aposta no ensino da matemática em actividades extracurriculares. Entre 2003 e 2012, Portugal aumentou o seu número de horas de leccionação de matemática – que, como se sabe, era um dos históricos handicaps dos alunos portugueses. Ora, se essa opção poderá estar relacionada com uma melhoria transversal de resultados, certo é que, entre as escolas que obtiveram resultados acima da média da OCDE, 54% oferece actividades extracurriculares nessa disciplina. Ou seja, essas escolas oferecem aos seus alunos um acréscimo no tempo de estudo da matemática e, consequentemente, dão-lhes mais instrumentos para adquirir os conhecimentos e melhorar os desempenhos (gráfico 4).

Quarto: a existência de um ambiente ordeiro na sala-de-aula. Parece uma questão de senso comum: quanto mais perturbações houver durante uma aula, mais improvável será que os alunos se mantenham concentrados e tenham à sua volta condições propícias para a assimilação de conhecimentos. Mas, mais do que senso comum, os estudos PISA comprovam que a relação existe mesmo: um ambiente ordeiro e calmo é condição necessária para a promoção de melhores desempenhos escolares.

Quinto: a reprovação e a segregação de alunos por turmas de nível são pouco eficazes e, por isso, menos comuns nas escolas que apresentam bons resultados. Dito de outro modo: só nas escolas com maiores dificuldades se recorre à reprovação e à segregação dos alunos por turmas de nível como estratégia de melhoria, sem evidências de sucesso (gráfico 5). De resto, está consolidado na investigação que a reprovação é um instrumento ineficaz, na medida em que não produz os resultados desejados – i.e. não consegue ajudar os alunos que reprovaram a recuperar a distância para com os seus colegas de turma que não reprovaram.

É possível melhorar as avaliações das escolas a partir de desempenhos escolares?

Quem acompanha o debate público na Educação sabe que são muitos os críticos das avaliações de escolas com base nos desempenhos dos alunos. Em particular entre os professores, que consideram que uma fotografia ao desempenho dos seus alunos num exame não reflecte a qualidade do seu trabalho enquanto docentes.

A crítica tem alguma pertinência. Senão, veja-se: sabendo que os desempenhos dos alunos estão fortemente associados ao seu perfil socioeconómico, a nota de um aluno num exame não pode ser lida sem essa ponderação, mas deve ser avaliada em função desse perfil e do seu ponto de partida. Por exemplo, sabemos que é mais difícil para um aluno com baixo perfil socioeconómico obter uma média final de 15 valores do que é para um aluno com elevado perfil socioeconómico. E, consequentemente, temos de reconhecer que há mais mérito da escola e dos professores quando conseguem que os seus alunos mais desfavorecidos obtenham notas elevadas e acima do que seria esperado inicialmente. Ou seja, os resultados escolares, só por si, podem passar a ideia errada sobre o trabalho desenvolvido numa escola.

Ora, se a crítica é pertinente, ela também é ultrapassável. Esta questão técnica tem sido enfrentada em vários países, com particular sucesso nos EUA. Como? Com mais informação sobre os alunos, nomeadamente fazendo o acompanhamento estatístico dos seus resultados escolares ao longo da sua escolaridade. Estes dados permitem que, em vez de se avaliar o aluno num único momento, seja possível avaliar a sua evolução ao longo do ciclo de estudos e, assim, perceber qual foi o valor acrescentado entre o ponto de partida, o resultado esperado e o ponto de chegada (exemplo no gráfico 6). Ou seja, perante dois alunos com média final de 15 valores, passa a ser possível diferenciar um aluno mediano que supera as expectativas de um aluno habitualmente muito bom que até piorou nos resultados.

O método é particularmente eficaz na avaliação de professores e tem sido adoptado em vários estados dos EUA (por exemplo, no Ohio recentemente). A lógica é simples: escolas e professores que repetidamente estejam associados a valor acrescentado no desempenho dos alunos são, pois, aqueles que mais contribuem para a boa aprendizagem dos seus alunos – e devem ser reconhecidos pelo seu bom trabalho.

A questão pendente é, claro, como se determina o valor estimado, que é o elemento-chave deste modelo de avaliação. Em Portugal, os serviços estatísticos do Ministério da Educação (DGEEC) têm testado algumas soluções, dando passos no sentido da adopção destes modelos de avaliação das escolas. O exercício estatístico é complexo, pelo que o mais importante de fixar é que vários indicadores são tidos em conta – por exemplo: idade dos alunos, formação dos pais (da mãe em particular), acção social escolar, número de alunos por turma, sexo dos alunos, perfil dos professores (quadro ou contratados) – de modo a que a estimativa seja o mais fiável possível. Os rankings escolares deste ano em Portugal já deviam permitir uns primeiros passos neste sentido.

Mas, afinal, só os resultados escolares é que importam?

Resultados escolares e mais resultados escolares. Só isso é que conta? Não. É certo que a educação é muito mais do que resultados escolares – ninguém o contesta. Mas é igualmente certo que a aferição das aprendizagens através de exames ou testes estandardizados se tornou uma ferramenta imprescindível para avaliar o funcionamento do sistema educativo e identificar dificuldades dos alunos – com vista à sua correcção e melhoria. Como tal, o desafio de quem avalia as políticas públicas de educação, a começar pelo Estado/ Ministério da Educação, é encontrar um compromisso entre duas dimensões, uma quantitativa (resultados escolares) e outra qualitativa (processos, atitudes, organização da escola, liderança).

É, aliás, o que se faz em Portugal (e em quase todos os países da UE): para cada ano lectivo, a Inspecção Geral de Educação e Ciência (IGEC) visita e avalia uma amostra de escolas, observando vários aspectos do seu trabalho (resultados, liderança, prestação do serviço educativo) através de análise de documentos e entrevistas, e produzindo um relatório final sobre essa escola (gráfico 7). Esse relatório é publicado no site da IGEC e nele, para além da avaliação, apontam-se aspectos a melhorar. Apesar de menos visível e mediático, este modelo de avaliação desempenha um papel importante ao orientar as escolas para a melhoria, assumindo um enfoque que se quer construtivo. De referir, contudo, que Portugal é uma das raras excepções entre países europeus onde, nesse processo de avaliação externa, a observação em sala de aula não é obrigatória – e, inevitavelmente, essa opção interfere na qualidade da informação extraída da avaliação externa (gráfico 8).

O ponto fundamental a reter é este: nenhuma avaliação é infalível. E, precisamente porque a educação é resultados escolares mas também é mais do que isso, o escrutínio público do funcionamento do sistema deve comportar várias dimensões – e, tanto quanto possível, ir afinando as suas metodologias, de modo a que, para cada dimensão, a informação seja o mais completa possível.

Então e o que fazer com os rankings?

Todos os anos, os rankings das escolas lançam as mesmas discussões. Todos os anos, os críticos dos rankings afiam as facas e denunciam um ataque à escola pública. É, pois, fundamental reconhecer que os rankings têm limitações e que, como já se afirmou acima, nem tudo na educação é mensurável através dos desempenhos escolares. Mas a tomada de consciência desses limites não se deve traduzir na recusa absoluta dos rankings ou na defesa da ausência de informação, mas sim numa utilização prudente. Como tal, aqui vão três conselhos para a leitura das classificações.

O primeiro conselho é evitar comparar escolas cujo perfil socioeconómico seja muito diferente. Como já foi mencionado, o perfil socioeconómico tem um grande poder explicativo dos resultados dos alunos e, como tal, comparar escolas que servem populações com grandes discrepâncias sociais é efectivamente comparar alhos com bugalhos. Sempre que possível, procure rankings mais sofisticados, que incluam dados socioeconómicos e que, como tal, comparem os resultados alcançados por cada escola com os resultados que, em função do seu perfil social, se esperava delas. Só assim perceberá se essa escola atingiu ou superou os níveis de desempenho desejados. Afinal de contas, uma boa escola não é aquela cujos alunos têm média de 15 valores, porque essa média pode até ser uma má nota se os alunos forem muito bons e tiverem, habitualmente, classificações superiores. Uma boa escola é aquela que acrescenta valor e faz com que os seus alunos melhorem consistentemente – tão simples quanto isso.

O segundo conselho é para não valorizar a comparação entre escolas públicas e escolas privadas. A resposta à questão “as privadas são melhores do que as públicas?” não está nos rankings. Há escolas públicas boas e outras menos boas, tal como acontece no sector do ensino particular e cooperativo – e, por isso, a comparação entre “famílias de escolas” em busca de uma campeã não tem qualquer sentido ou utilidade. Acresce que, considerando os custos associados à frequência do ensino particular, há uma selecção socioeconómica no acesso a estas escolas que, dada a referida relevância do perfil socioeconómico para os desempenhos escolares, atira as privadas para o topo do ranking – e, nesse sentido, a comparação directa com escolas públicas fica invalidada. Ou seja, se o seu foco de interesse estiver nos desempenhos dos alunos em escolas privadas, então tente limitar as comparações a escolas privadas entre si e de um mesmo concelho (que, portanto, terão públicos-alvo semelhantes).

O terceiro conselho é que dê privilégio a análises longitudinais. O que é que isso significa? Simples: os rankings tiram a fotografia do ano lectivo que passou (ou seja de um único momento no tempo), mas realmente interessante é observar a evolução das escolas ao longo dos anos, porque essa informação é muito mais rigorosa para que se perceba o que lá dentro se passa. Uma escola pode, por diversas razões, ter resultados particularmente positivos/negativos num ano, mas esse ano ser uma excepção não representativa dos últimos 10 anos. Este é um caso evidente em que o filme vale mais do que a fotografia – o movimento e a evolução das escolas conta. Por isso, se tiver interesse em seguir uma escola em concreto, não se fixe aos resultados de um só ano, consulte rankings de anos anteriores e observe as oscilações de resultados. Assim verá se eles estão consolidados, ou se estão a subir ou cair.

So what? Cinco ideias a reter sobre avaliação de escolas

Primeira: desista de identificar a melhor escola do país. É como caçar unicórnios – uma perda de tempo porque tal coisa não existe. O que vale a pena procurar é a escola que, entre a oferta disponível, melhor responde às necessidades educativas do seu filho e corresponde aos critérios que, enquanto pai, mais valoriza numa escola (sejam os desempenhos escolares, a segurança, o ambiente social, etc.).

Segunda: quando comparar desempenhos de alunos e escolas, não se esqueça de aplicar uma ponderação socioeconómica. Infelizmente, em Portugal, o perfil socioeconómico dos pais (em particular da mãe) ainda é o factor que melhor ajuda a prever o desempenho escolar de um aluno, pelo que quem ignorar essa questão estará, logo à partida, a enviesar a comparação. E como nem sempre há dados que o permitam fazer, uma alternativa é, por exemplo, comparar escolas de uma mesma área residencial e que, como tal, sirvam (mais ou menos) a mesma população.

Terceira: não se limite a analisar os desempenhos escolares. Se possível, visite a escola que tem debaixo de olho. E aproveite para verificar se, no site da IGEC, não consta um relatório mais aprofundado sobre essa escola, que lhe dê mais informação sobre o seu funcionamento. As boas lideranças escolares geram um ambiente propício à aprendizagem, mantêm professores motivados e constroem actividades extracurriculares à medida das necessidades dos alunos. E tudo isso é determinante para melhorar as aprendizagens.

Quarta: não faça dos rankings escolares a sua bíblia de cabeceira, mas também não os rejeite. Os rankings são uma ferramenta com defeitos, mas que tem melhorado muito ao longo dos anos e que se torna útil se manuseada com prudência. Compare apenas o que é comparável e, quando possível, recorra a rankings de anos anteriores para observar a evolução dos resultados nas escolas que lhe interessam – a evolução é muito mais importante do que os resultados num ano isolado.

Quinta: diversifique as suas fontes. Use rankings, consulte o portal InfoEscolas, procure as avaliações externas no site da IGEC, visite as escolas e troque impressões com quem conhece. Nenhuma avaliação é infalível, pelo que terá sempre vantagens se aproveitar e cruzar toda a informação à sua disposição.