Índice
Índice
No princípio não foi fácil. A sociedade portuguesa estava dividida sobre se seria bom, ou não, participar no primeiro grande estudo internacional que iria avaliar a literacia dos alunos de 15 anos em matemática, ciências e leitura. O receio era claro: o PISA, que testou mais de 200 mil de estudantes em 32 países, era um espelho. E esse espelho podia mostrar que afinal não éramos exatamente aquilo que pensávamos. A imagem que nos devolveu não foi bonita, mas ao fim de 19 anos, Portugal é o maior caso de sucesso do PISA na Europa, nas palavras de Andreas Schleicher, diretor da OCDE para a Educação.
Começámos no nível 2, considerado o mínimo para se exercer a cidadania, para, em 2015, na sexta edição do relatório que é feito trianualmente, ultrapassarmos a média da OCDE pela primeira vez. A subida foi para o nível 3, numa escala que termina no nível 6 e nos mil pontos, o que coloca os alunos portugueses apenas na mediania, longe da excelência, lembra Hélder Sousa, antigo presidente do IAVE, organismo que concebe e valida os instrumentos de avaliação externa de alunos. É nesse nível que nos mantemos em 2018, com alterações sem significado estatístico a leitura e a matemática e uma queda de 9 pontos a ciências.
PISA. Portugal é caso único de sucesso entre os países da OCDE, mas mantém desigualdades
Apesar de o país ainda não estar onde os diferentes executivos gostariam, o progresso é real e o PISA transformou-se numa ferramenta indispensável para os governantes. Para a investigadora Isabel Flores é a maior recolha de dados fidedignos sobre os diversos sistemas de educação. Hoje, nenhum titular da pasta de Educação, em Portugal ou no resto do mundo, deixa de olhar para o retrato que o Programa Internacional de Avaliação de Alunos faz do seu país, apoiando-se nas suas conclusões para orientar políticas e desenhar caminhos, como contam ao Observador três antigos ministros de Educação: Eduardo Marçal Grilo, Maria de Lurdes Rodrigues e Nuno Crato.
O peso é ainda maior noutros países, que assumem mudanças nas políticas de educação e nos currículos por causa dos resultados no PISA e que até veem as posições dos seus ministros abaladas — e muito contestadas — em anos de maus resultados, como aconteceu na Hungria, na Bulgária, na Turquia ou até na Alemanha, por exemplo.
Tiago Brandão Rodrigues, o atual titular da pasta em Portugal, é o primeiro a considerar que esta é uma ferramenta importante, mas deixa uma ressalva: nem todos os talentos que queremos ver nos jovens são analisados pelo relatório. “O PISA constitui obviamente uma informação útil para o desenvolvimento de políticas públicas, permitindo-nos identificar onde estamos e onde precisamos de melhorar, desde que tenhamos a noção de que os resultados obtidos são de espetro largo.”
Por este motivo, o ministro da Educação diz ao Observador que isso “significa que estes resultados derivam de múltiplos fatores, ao longo da vida destes jovens e, também, como qualquer outro teste, que há sempre muitas outros conhecimentos, competências e valores, que pretendemos que os jovens adquiram na escola, que não são aferidos pelo PISA” — uma ideia com a qual Marçal Grilo concorda.
PISA 2000. Um arranque difícil
“Em 1995, na primeira reunião de ministros da OCDE em que participei, todos falaram com entusiasmo do seu sucesso e das suas brilhantes reformas. Agora, as comparações internacionais deixam claro quem está a falhar. Não há como se esconderem”, disse Andreas Schleicher, diretor da OCDE para a Educação, responsável pelo PISA, numa entrevista ao The Economist em 2008.
Nessa época, o primeiro Governo de António Guterres sucedia aos de Aníbal Cavaco Silva. A pasta da Educação era entregue a Eduardo Marçal Grilo que, até 1999, ocuparia o gabinete do edifício da 5 de Outubro de onde saía Manuela Ferreira Leite, a quinta ministra dos três governos sucessivos do PSD.
“Havia uma grande corrente contra Portugal entrar no PISA, ali por volta de 1998, 1999, e que hoje já não existe. Na altura, defendi sempre que tínhamos de participar. O receio era que mostrássemos as nossas debilidades, e foi o que aconteceu, mas também nos permitiu ver como evoluímos desde então, apesar de ainda não estarmos onde eu gostaria. Hoje o país está num patamar completamente diferente daquele em que estava no relatório original, o PISA 2000”, lembra Marçal Grilo.
Para o primeiro ciclo do PISA, depois de um teste piloto em 1999, foram selecionadas 156 escolas de forma aleatória: três recusaram participar e quatro não tinham alunos de 15 anos. A amostra final teve 149 escolas, 11 das quais privadas. Quanto aos alunos, era obrigatório que tivessem 15 anos e que estivessem entre o 5.º e o 11.º ano. No final, 4.604 estudantes responderam ao PISA através de testes de papel e lápis, respondidos no espaço de duas horas. Havia itens de escolha múltipla, itens que obrigavam a elaboração de respostas e ainda dois questionários: um sobre o aluno e a sua escola; e outro sobre práticas de estudo e de aprendizagem, auto-conceito e motivação.
No final, a imagem no espelho estava longe da que seria desejável. A situação mais preocupante era a dos alunos que não atingiam sequer o primeiro nível a leitura, uma fatia de 10%. Quando a estes se juntavam os de nível 2, mais de metade dos alunos portugueses (52%) tinha níveis muito baixos de literacia. Na OCDE, a média era de 40%.
No entanto, quando se olhava os dados de outro ângulo, a realidade parecia outra. Os alunos que nunca chumbaram e que estavam no 10.º ano, o esperado para a sua idade, e os poucos que frequentavam o 11.º tinham resultados muito melhores do que os que estavam entre o 5.º e o 8.º ano. Olhando só para esses, Portugal estava acima da média do estudo. A conclusão? Os alunos com retenção (uma ou mais) estavam claramente afastados dos que seguiam o percurso sem repetição de ano.
Todos estes dados ajudaram a fazer o verdadeiro retrato do país e a perceber onde estavam as fragilidades. Por isso, Marçal Grilo acredita que, atualmente, há um grande consenso sobre a utilidade do PISA, uma ferramenta que deve ajudar os políticos a tomar decisões. “Muitas vezes mudámos políticas sem ter a ver com a realidade. Aqueles dados foram muito importantes. Saber mais é sempre importante. Mas o PISA não é para ser visto como uma competição de mercado, serve para nos obrigar a sermos mais exigentes com nós próprios.”
Estas evidências científicas que o relatório traz são um ponto positivo para Maria Emília Brederode, presidente do Conselho Nacional de Educação: “Com o PISA, a decisão baseia-se no conhecimento, quando antes as decisões políticas eram tomadas com base no que cada um achava.”
PISA 2003. Nasce o Plano Nacional de Leitura e a promoção da matemática
Maria de Lurdes Rodrigues, ministra de um outro governo socialista (2005-2006), o primeiro de José Sócrates, concorda com a visão de que o relatório é fundamental para ajudar a tomar decisões. “Eu própria, quando tive a experiência de governação, tive a oportunidade de olhar para o PISA e definir um conjunto de medidas na matemática e na leitura que permitiram dar um grande salto nessas competências.”
Em 2006, durante o seu mandato, ano em que a terceira edição do PISA se realizava, foram criados dois programas para colmatar as falhas que os alunos portugueses demonstravam ter: o Plano Nacional de Leitura, que se mantém até hoje, e o Plano de Promoção para a Matemática. Acima de tudo, Maria de Lurdes Rodrigues, hoje reitora do ISCTE, acredita ser fundamental garantir que Portugal continue a participar nestes estudos, devendo-lhes ser dada toda a atenção e prioridade política. “Não podemos deixar que aconteça como com Espanha, que vai ficar fora do PISA 2018. Fiquei chocada com esta notícia, porque é muito empobrecedor, faz com que o país fique menos informado.”
PISA. Um terço dos alunos só lê se for obrigado — e quem não lê não consegue aprender
A 15 de novembro, a OCDE anunciou que os dados sobre leitura dos alunos espanhóis, recolhidos através de computador, não irão ser incluídos no relatório, depois de perceber que 5% das respostas não foram dadas com rigor. Em algumas zonas do país, os alunos responderam a 20 perguntas em menos de 25 segundos, quando a média da resposta é entre 50 segundos a dois minutos, dependendo da velocidade de leitura. As respostas também obedeciam a padrões: tudo sim ou tudo não. No imediato, os resultados ficam congelados, já que afetam as conclusões nacionais e as comparações com outros países. Só serão conhecidos os resultados de ciência e matemática, por, aparentemente, não terem sido contaminados.
Em Espanha, esta situação é novidade, mas não é inédita na OCDE. Em 2015, o Cazaquistão foi excluído do relatório final e, em 2006, um erro na impressão dos enunciados nos EUA levou à não publicação dos resultados de leitura.
Nuno Crato, ministro de Pedro Passos Coelho entre 2011 e 2015, também viu ser publicado um PISA, o de 2012, durante o seu mandato. Embora confesse que foi para o Governo com ideias muito claras, que diz ter apurado ao longo de uma década a escrever sobre Educação, lembra que o relatório foi muito importante para perceber o que se passava. Daí que a sua primeira medida tenha sido aumentar as horas de matemática e português nos currículos. “Sempre tive a convicção de que o problema da educação é sobre o que é, ou não é, essencial. Se há ou não mais computadores… Isso é importante, mas não fundamental. O PISA foi útil também por ter inquéritos regionais.” E esses dados mostravam bem as assimetrias do país e como as escolas de maior insucesso andavam de mãos dadas com as zonas mais carenciadas.
Antes do seu mandato, Crato lembra que também os exames do 9.º ano, criados pelo então ministro David Justino (PSD), foram uma consequência do PISA. E mesmo que, na sua opinião, alguns programas tenham sido mal desenhados pelos seu antecessores, como o da Promoção da Matemática, serviram sempre para chamar a atenção para os problemas. “A partir daí, os diversos PISA começaram a mostrar a evolução e a deixar para trás esta ideia romântica de que os alunos aprendem por gosto. Deu-nos a versão realista do que era preciso: rigor.”
Para além de ajudar a fundamentar decisões, Nuno Crato acredita que as conclusões do PISA e o retrato que fizeram do país mudaram a forma como os portugueses passaram a olhar para si próprios. “Os estudos internacionais foram fundamentais para Portugal. Foram marcantes porque mostraram que não éramos nem os piores nem os melhores do mundo. Foram decisivos para se tomar consciência de que havia muito a fazer e mudou a mentalidade em muitas coisas em Portugal.”
Não foi só em Portugal que o relatório mudou a forma de olhar para o próprio umbigo. Foi graças ao PISA que a Finlândia percebeu que estava no topo do mundo, uma realidade que o próprio Governo estava longe de imaginar, como contou Kristina Kaihari, Conselheira da Educação na Finlândia, numa entrevista ao Observador. “O PISA foi um choque para nós”, contou, dizendo que a autoestima do seu povo não é das melhores e que não gostam de se comparar. Desconfiam sempre quando lhes dizem que são os melhores a alguma coisa.
Entrevista. “Na Finlândia, confiamos nos professores. Sabemos que estão a fazer o seu trabalho”
“Lembro-me que estava de licença sabática, a viajar, a ir de França para a Alemanha. E, quando chegámos a Dusseldorf, uma amiga minha, professora alemã, disse-me: ‘Terrível. Já souberam destes resultados? A Finlândia é número 1 e a Alemanha está em vigésimo.’ Ela estava chocada. E eu nem sabia o que era o PISA, não lhe dávamos importância”, lembra Kristina Kaihari.
Na Alemanha, os maus resultados — estavam abaixo da média da OCDE — deram lugar aquilo que ficou conhecido como “Choque do PISA”: houve protestos e debates acesos sobre a política de educação do país durante meses e que conduziram as reformas educativas.
PISA 2015. Estar acima da média chega?
“Uma mistificação que me chateia é quando se diz que chegámos à média do PISA.” Hélder Sousa esteve à frente do Instituto de Avaliação Educativa (IAVE) durante cinco anos, até ao início de 2019, e lembra que ser mediano está longe de ser satisfatório. “Chegar à média é paupérrimo, é ficar satisfeito por ser mediano. Nós não queremos ser pessoas medianas, nem queremos cruzar-nos com profissionais medianos. Quer entrar num avião que tenha um piloto mediano se souber que ele erra metade das vezes? E se lhe disserem que a sua operação vai ser feita por um cirurgião mediano? Se todos tendemos para a média, a qualidade do que fazemos enquanto sociedade será sempre muito pobre.”
PISA. Portugal é caso único de sucesso entre os países da OCDE, mas mantém desigualdades
Apesar disso, Hélder Sousa diz que temos ótimos alunos, lembrando que o padrão que se verificou em 2000 se mantém, apesar de já não se avaliar quem esteja abaixo do 7.º ano. Mais de 56% dos alunos que fizeram o PISA 2015 estavam no ano de escolaridade expectável, o 10.º, e esses tiveram bons resultados.
“Os nossos alunos que realizam o PISA no 10.º ano têm uma performance que nos deixa em segundo lugar à escala do PISA, abaixo de Singapura e à frente do Japão. Se pudéssemos participar apenas com os alunos que nunca ficaram retidos, nos resultados de ciências éramos o segundo melhor país. O problema é o restante. Temos uma parte significativa da população, quase metade, que está noutros anos e, aí, os resultados são muito abaixo da dita média do PISA”, diz.
A média da OCDE, lembra Hélder Sousa, está, desde 2000, a descer. E Portugal ultrapassou em 2015 uma média que já não é o ponto médio do estudo original. “É muito fácil ultrapassar um carro que está a fazer marcha atrás. Se todos estivessem a crescer, estaríamos mais longe da média. Isto é atirar poeira para os olhos.”
PISA. Alunos portugueses acima da média da OCDE pela primeira vez em 15 anos
E depois do relatório? As análises que ficam por fazer
Subiu, desceu, está acima ou abaixo da média. A cada três anos, quando saem os resultados do PISA, a leitura imediata é feita aos indicadores globais, mas o relatório tem muito mais mundos para explorar.
“O PISA não são só aqueles dados mais divulgados, tem muito background, e por isso permite fazer leituras muito ricas. É por isso fundamental garantir, e eu tive sempre essa preocupação quando estava no Ministério da Educação, que Portugal participe e que o PISA se realize em boas condições técnicas”, defende Maria de Lurdes Rodrigues.
Entre esses diferentes tons que o relatório deteta, Marçal Grilo, grande impulsionador da rede do pré-escolar em Portugal, aponta para a importância que a sua frequência tem no futuro sucesso dos alunos. “Um dado muito importante que nos revela é a influência de frequentar o pré-escolar, e que hoje, felizmente, abrange 94% das crianças com 5 anos. O que se verifica, e isto é muito relevante, é que entre os restantes, nessa franja que não frequenta o pré-escolar, 46% dos alunos reprovam pelo menos uma vez ao longo do seu percurso académico.”
Entrevista a Marçal Grilo. “Ser ministro não é ter vida de luxo, é de loucos”
Maria de Lurdes Rodrigues reforça esta ideia, lembrando que há um dado que é constante do PISA: quem tem um percurso marcado por repetência tem piores resultados do que os alunos que não chumbaram.
“O problema do PISA é que se utiliza pouquíssima informação para aquilo que ela devia ser usada: informar boas medidas e boas políticas. E isso acontece porque se faz pouquíssima análise secundária dos dados. A imprensa vive dos macro resultados e avalia-se pouco as variáveis de contexto que explicam as diferenças de resultados. Era importante que houvesse outras instituições, como universidades, que fizessem essa análise e que informassem os decisores políticos — acabam por tomar as decisões que entendem, nem sempre alinhadas com os estudos”, defende Hélder Sousa.
Os dados são muito bons, diz, o problema é a falta de análise e a tentação da própria OCDE de “impingir” medidas de política educativa sem estarem validadas. “Em cada ciclo, há sempre países que são dados como exemplos de grande sucesso. Às vezes é efémero e não está consolidado”, conclui o antigo presidente do IAVE. Portugal é um dos países que já foi dado como exemplo.
[Vídeo da OCDE sobre as reformas educativas de sucesso de Portugal]
A melhor, a maior e a mais representativa amostra na Educação
“O PISA não é apenas um teste, não incide sobre matéria específica. É mais abrangente e coloca os alunos perante a resolução de problemas, e mostra-nos como a pessoa pensa, como encontra soluções para o que está à sua frente. É também um belíssimo indicador para nos mostrar como estamos a preparar os jovens de 15 anos, uma idade muito importante”, diz Marçal Grilo.
Para além de mostrar se os jovens conseguem ou não raciocinar, é uma ferramenta estatística sem igual no mundo, explica Isabel Flores, investigadora e secretária geral do IPPS-ISCTE (Instituto Para as Políticas Públicas e Sociais).
“O PISA é a maior recolha de dados fidedignos sobre os diversos sistemas de educação. Serve como repositório imenso de informação diversificada sobre todos os atores: para além das provas de conhecimento, tem também os questionários exaustivos a alunos, professores, pais e diretores. A quantidade da informação e a qualidade das amostras, que é recolhida com critérios estatísticos rigorosos, permite um olhar sobre uma imensidão de variáveis que noutras recolhas de dados não têm tanta qualidade”, defende a autora do estudo “Porque melhoraram os resultados PISA em Portugal?”.
Para além do tamanho de amostra — em 2018 participaram 600 mil estudantes de 79 países que representam 32 milhões de jovens —, Isabel Flores salienta que a sua representatividade é fundamental, já que espelha as sociedades que representa na medida exata. Soma-se ainda o facto de ter uma taxa de resposta de 85% e de ser uma amostra aleatória, o que permite ter muita confiança nos dados.
“Por exemplo, no estudo sobre burn out dos professores, a amostra não é aleatória e sabemos que quem respondeu é porque está cansado. No PISA, só pode responder quem foi selecionado na amostra, se se recusar entra para a não resposta”, esclarece a investigadora.
Motivos suficientes para considerar o PISA absolutamente fundamental para olhar para alunos, professores, pais e diretores e com grande confiança. “Não temos outro estudo tão global como este. Ajuda-nos a perceber onde estão os pontos fortes e fracos, e isso é mais importante do que ver se subimos ou descemos nos indicadores. Depois das bases de dados libertadas, devemos começar a fazer perguntas sobre o sistema de ensino português, sobre o que está a influenciar os alunos”, diz a investigadora.
E afinal o que está a influenciar? Quando escreveu “Porque melhoraram os resultados PISA em Portugal?”, com Ana Ferreira e Teresa Casas-Novas, a grande conclusão que retirou é que é a resiliência nas escolas que faz com que alunos com resultados fracos passem a ser bons. “São escolas onde todos estão motivados e onde aquilo a que chamamos soft variables tem força. Não tem a ver com o tamanho das turmas ou fazer exames, tem a ver com a confiança que os alunos depositam nos professores e no número de docentes que diz que não quer mudar de profissão”, detalha Isabel Flores.
PISA em versão de bolso. Sete gráficos para perceber o que diz o relatório
Mas não se espere que o PISA traga nas suas páginas soluções milagrosas ou que se possam copiar de um país para o outro. “A estatística não nos dá caminho, dá um retrato. Passar do retrato para o caminho é o grande desafio. Mas permite-nos ter políticas baseadas em evidências que tantas vezes nos faltam e não é sequer só na área da Educação”, conclui Isabel Flores.
O que falha no PISA?
São mais os pontos positivos do que os negativos que Maria Emília Brederode encontra no PISA, mas, entre estes últimos, vê a excessiva dependência com que os países vivem hoje dos resultados. “O PISA tem sido uma ferramenta importante, ajuda-nos a situar-nos em relação aos outros e ao nosso passado, mas ficamos muito dependentes do que se diz. Se os dados são bons, é ótimo. Se são maus ,ficamos numa depressão imensa.”
Outro aspeto negativo do relatório é focar-se na matemática e na língua materna, o que tem levado a uma certa redução do currículo, defende a presidente do CNE. “Ignora todas as expressões, da artística à física. Claro que a matemática e a leitura são importantes, mas a educação das crianças não é só nessas áreas.”
Para Marçal Grilo, a grande falha é também não revelar o talento dos alunos noutros domínios para além dos estudados, mas lembra que há outras provas que se podem fazer para termos essa informação.
“Eu não queria era que o PISA fosse usado como uma ferramenta da vaidade, que o usem para dizer que foi este ou aquele Governo que levou a que os resultados fossem excelentes, e depois, quando são maus, atiram as culpas para outros. Queria que o PISA fosse o que deve ser, uma ferramenta que nos permite comparar Portugal e as competências dos seus alunos com outros países. Não nos podemos pôr numa redoma”, argumenta Filinto Lima, presidente da ANDAEP, associação dos diretores de escolas públicas.
Dito isto, Filinto Lima sublinha que a ferramenta é importante e que tem mostrado que a escola pública está a fazer um bom trabalho, por exemplo, no abandono escolar. “Mas ainda há trabalho a fazer. Não basta estarmos acima da meta da OCDE, há que mantê-la e conseguir elevá-la. Na Educação, os resultados não se conseguem ao fim de pouco tempo, demora anos, porque não somos máquinas. E os resultados que temos hoje são fruto do trabalho intenso dos professores e os atuais não nos envergonham.”
