Sejam bem-vindos ao "Nota 20", programa sobre educação da Rádio Observador, em parceria com a Iniciativa Educação, programa onde a ciência fala com a educação. Olá, professor Nuno Crato.

Ora viva, bom dia. Como está, João Miguel?

Tudo bem, professor. O programa desta semana é sobre os resultados do TIMSS, um instrumento de avaliação externa de desempenho dos alunos, cujos resultados foram conhecidos esta semana. Já vamos detalhá-los. Primeiro, vamos ao inquérito que colocamos no Twitter na semana passada e a pergunta que fizemos aos nossos ouvintes foi a seguinte: o TIMSS é diferente do PISA? 60% respondeu que sim e 40% respondeu que não. Professor Nuno Crato, qual é a resposta correta e por quê?

Eu diria que sim, que é diferente. Embora eu perceba que muita gente possa dizer que não é diferente, na medida em que ambos são instrumentos externos, internacionais, de avaliação dos conhecimentos e capacidades dos alunos. Mas há algumas diferenças importantes que devíamos ter em causa. O TIMSS avalia os conhecimentos dos alunos e a sua capacidade de aplicação com base curricular, ou seja, tenta avaliar aquilo que vem no currículo, sendo o currículo uma espécie de denominador comum de currículos de vários países, e sendo acordado o que é esse currículo e que irá ser avaliado, enquanto que o PISA avalia essencialmente as capacidades, eles chamam competências, as capacidades da atuação na sociedade, ou seja, dos conhecimentos necessários pra atuação na sociedade. Depois, há outra grande diferença, é que o PISA destina-se aos jovens de 15 anos, estejam eles onde estiverem, na escola, e o TIMSS destina-se aos jovens de quarto ano de escolaridade em Matemática e em Ciências, ou posteriormente do oitavo ano de escolaridade em Matemática e Ciências, e ainda existe o chamado TIMSS Advanced. Mas é interessante vermos esta grande diferença, que é: o TIMSS reflete muito mais o que se passou na escola, enquanto o PISA procura refletir no fim do nosso nono ano, que era antigamente a escolaridade obrigatória, aquilo que os alunos são capazes de fazer, portanto, o conjunto de coisas que eles retiraram da escola em termos de aplicação prática. É preciso perceber que o PISA, quando foi concebido, foi numa altura em que a maioria dos países da OCDE, eu diria que um número muito grande de países da OCDE, tinham a escolaridade obrigatória que acabava ao nono ano, ou à volta do nono ano, e, portanto, era aquilo que os jovens estavam prontos a fazer na entrada da sociedade se não perseguissem os estudos. Portanto, há essas duas grandes diferenças, uma é de idade, a outra é de ano de escolaridade, e um é mais genérico, mais de aplicações, e o outro mais ligado ao currículo.

Mas são, ainda assim, dois bons instrumentos pra avaliarmos até o sucesso educativo do nosso país. Já vamos, no seguimento da nossa conversa, até com o nosso convidado, perceber que tendências é que temos assistido nos últimos anos. Nosso convidado chama-se João Marouço, é professor de Estatística e Métodos de Investigação no ISPA, Instituto Universitário. É também especialista em avaliação educativa e coordenou vários estudos internacionais, precisamente sobre esta questão do desempenho dos alunos e sobre o sucesso do nosso sistema de ensino. Professor João Marouço, bem-vindo ao "Nota 20" e antes de mais, muito obrigado pela disponibilidade.

Olá, bom dia.

Vamos concentrar-nos hoje no "Nota 20" no TIMSS. O que é o TIMSS? O que faz o TIMSS?

O TIMSS, como o professor Nuno Crato referiu ainda há pouco, é um estudo internacional de avaliação externa. TIMSS quer dizer Trends in International Mathematics and Science Study. Portanto, é um estudo que avalia as tendências internacionais de Matemática e Ciências no quarto ano. Portugal tem participado essencialmente no quarto ano e no oitavo ano também. E, portanto, o que o estudo faz é, utilizando um referencial que é definido pela IEA, avalia aquilo que os alunos conseguem fazer no quarto ano em Matemática e Ciências, e tem feito isto desde 1995. Apesar de Portugal só ter participado nas últimas três edições e em 1995, o estudo realiza-se de quatro em quatro anos e envolve mais de uma meia centena de países em todos os anos.

E é baseado em perguntas que são dirigidas aos alunos ou é nos resultados? Como é que é feita a obtenção dos resultados deste estudo, professor João Marouço?

O TIMSS, como o PISA, são estudos de avaliação externa muito interessantes, porque avaliam não só aquilo que os alunos sabem, que eles conseguem fazer, num teste muito semelhante àquilo que são os nossos testes de avaliação externa, quer sejam provas de aferição, quer sejam os exames. Mas, pra além disso, ou seja, pra além de avaliar aquilo que os alunos conseguem fazer no teste, o TIMSS também tem um conjunto de questionários às famílias, aos alunos, às escolas e aos professores, que tentam enquadrar o desempenho dos alunos nos resultados socioeducativos da escola.

Portanto, é possível, através do TIMSS, perceber com detalhe o percurso do aluno, pelo menos no primeiro ciclo, não é? Porque o TIMSS avalia os alunos no final do primeiro ciclo, portanto, no quarto ano.

Quarto ano.

Dando-nos uma boa radiografia do desempenho do aluno e do meio onde ele está inserido, também.

Exatamente.

Desculpem interromper, mas Por exemplo, um estudo que nós já discutimos aqui, foi o estudo sobre o chamado efeito ficção. Por que a leitura de textos literários é mais importante para o desenvolvimento da capacidade de leitura dos jovens do que outro tipo de textos? Esse estudo foi feito com base em perguntas do PISA, ou seja, o que os investigadores fizeram foi: olharam para os resultados no PISA e cruzaram esses resultados com as respostas a esse inquérito, o que esses alunos liam, o que é que liam mais, etc. Portanto, tanto o PISA como o TIMSS permitem estudar muitas coisas, em termos internacionais, que são interessantes.

Professor João Maruco.

Sem dúvida. Enquanto no exame nacional ou numa prova de aferição, nós temos o resultado dos alunos e para aí, no TIMSS ou no PISA, temos caracterização dos professores, das suas crenças, das suas práticas letivas, temos resultados das características da escola, o tipo de financiamento, a porcentagem de alunos favorecidos, etc. Temos próprias características dos alunos. Por exemplo, eu acho imensa piada, porque também trabalho um bocadinho nesta interface da psicologia, o TIMSS pergunta aos alunos qual é a sua motivação para aprender matemática. E depois chega-se, sem grande surpresa, na minha opinião, à conclusão que os alunos que estão mais motivados têm melhor resultado. Mas isto para dizer o quê? Que a escala de motivação para aprender matemática é claramente uma escala psicométrica e, portanto, não é um teste no sentido em que há uma nota que diz se o aluno teve um bom resultado ou teve um mau resultado. Mas de facto, todas estas medidas auxiliares permitem enquadrar os resultados e permitem tentar explicar os resultados. Por que os alunos de um determinado país têm melhores resultados que os alunos de outro país, quais são as características das famílias. Por exemplo, uma das características das famílias que também se sabe que influencia muito os resultados é o estatuto socioeconômico da família, é as habilitações literárias das mães, em particular, é a motivação que os pais têm sobre as expectativas que os filhos devem alcançar na escola, no seu percurso escolar. E, portanto, todos estes resultados acabam por nos ajudar a enquadrar as diferenças que se observam em países, porque repare, se o teste é o mesmo, se os alunos, do ponto de vista genético, são muito semelhantes, são todos homo sapiens, por que há diferenças tão grandes de desempenho? E essas diferenças tão grandes de desempenho, obviamente, não está em características intrínsecas dos alunos, mas está em características dos sistemas educativos, e das políticas educativas, e dos currículos, e por aí fora. E o TIMSS, contrariamente ao PISA, faz isto que eu acho que é mais útil, ou seja, eu acho que a informação que os países conseguem retirar do TIMSS é melhor do que a informação que conseguem retirar do PISA, apesar do PISA ser bem mais conhecido, porque o TIMSS, de facto, faz esta avaliação quase 360 graus em torno do aluno. Uma das coisas que eu acho que é muito interessante que o TIMSS faz e o PISA não faz é uma análise da matriz curricular de cada um dos países. Quais são os tópicos que saíram no teste TIMSS, que o país ensina no seu currículo ou não ensina. Isto é muito revelador de por que, por exemplo, em Portugal, no TIMSS 2011, as nossas crianças tinham resultados muito fracos na parte de análise de dados e em 2015 e 2019 subiram imenso. Por quê? Porque o currículo passou a incluir a estatística no primeiro ciclo e antes disso não tinha. E, portanto, de facto, este estudo é interessante nesse sentido em que não dá simplesmente o resultado do aluno, mas dá dados suficientes para tentar explicar por que o aluno daquele país teve os resultados que teve.

Muito bem, então vamos à substância dos resultados obtidos por Portugal em 2019. Registrámos uma queda na aprendizagem da matemática. Que outras tendências registámos neste TIMSS 2019, professor João Maruco, e que importe sublinhar?

De facto, uma tendência que não é tão negativa é das ciências, também poderíamos falar sobre ela, houve só uma variação de quatro pontos, apesar de ser uma redução, mas essa redução de quatro pontos está dentro daquilo que nós chamamos a margem de erro do estudo, ou seja, a variabilidade natural que seria expectável, uma vez que os alunos participaram em 2015.

Tem pouca expressão estatística, não é?

É, exatamente. Portanto, digamos que é um resultado que diz que o sistema estabilizou e que não há grande variação para além daquela que nós esperamos naturalmente na população. Infelizmente, no caso da matemática, a história é diferente. É diferente e para pior, infelizmente também. Por quê? Porque há uma queda de 16 pontos relativamente a 2015, e esta queda de 16 pontos não se enquadra na tal margem de erro que eu falava ainda há pouco, não se enquadra naquela variação natural que seria expectável por estarmos a falar de grupos de alunos diferentes. E, portanto, de facto, aqui aconteceu algo entre 2015 e 2019, e o que interessa perceber é o que foi feito neste período, um pouco antes também, talvez, para explicar esta variação, esta queda, como eu disse, é estatisticamente significativa e, portanto, não é por acaso, não é por azar. Não é algo que possa passar despercebido a quem decide sobre a educação.

Na sua opinião, e o professor João Maruco tem trabalhado também com sistemas de avaliação ou com mecanismos de avaliação dos sistemas de ensino, na sua opinião, isso deve-se a quê, no caso da matemática?

É uma pergunta complexa e eu vou, porque não temos o dia todo, porque ficaríamos certamente aqui o dia todo a discutir isto. Eu vou tentar resumir. Há essencialmente três grandes linhas de ação Fatores determinantes no resultado de um aluno num determinado país, que são obviamente o currículo, não é aquilo que está no currículo escrito, é aquilo que de fato é ensinado ao aluno e aquilo que o aluno aprende, ou seja, o chamado currículo obtido. Esse é o primeiro fator. Depois o outro fator são as características das famílias e das escolas. Ainda há pouco referi o estatuto socioeconômico e o nível de habilitações dos pais, em particular da mãe, e as expectativas que os pais têm pro desempenho acadêmico dos seus alunos. E depois, a forma como o aluno aprende e o aluno progride durante os diferentes anos. Na minha opinião, eu escrevi isso, não é novidade, as pessoas que falam comigo e eu discuto imenso com os colegas sobre este tipo de assuntos, as pessoas que falam comigo sabem que eu dou uma grande valorização, ou valorizo bastante a avaliação externa e ontem mesmo escrevi um comentário destes resultados, que está publicado no Observador. E na minha opinião, aquilo que de fato mudou entre 2015 e 2019, foi a abolição da avaliação externa. Portanto, os alunos tinham um exame de Matemática e Português no quarto ano, no sexto também, mas estamos a falar do quarto ano. Esse exame foi logo abolido em 2016. Eu, na altura, estava envolvido diretamente com esses estudos e achei que íamos ter os resultados que tivemos agora, que as notícias iam ser más. E, portanto, a ausência da avaliação externa do chamado exame, descompromete os professores.

Era isso que eu ia perguntar, a falta de um exame coloca menos pressão sobre os professores e sobre os alunos?

Sem dúvida. A dois níveis.

Distende a atitude de ambos em relação aos resultados a obter?

Claramente.

Opinões que indicam isso?

É, e isso não é a minha opinião enquanto professor, porque eu também dou aulas e obviamente chegar aos meus alunos e dizer: "Bom, isto é só pra saber, nós não vamos avaliar isto, isso não vai sair no teste." Eu acho que não existe professor em Portugal que não tenha esta experiência e não vê logo aquele suspiro de alívio do aluno e a maior parte deles, infelizmente, porque infelizmente ainda está muito colado o saber com o avaliar. A maior parte deles tem logo uma atitude mais laxativa relativamente àquilo que é preciso saber e aquilo que é preciso aprender. Claro que um professor sabendo que não vai existir uma avaliação final, no final do ano letivo, tirando a sua consciência, não há nada que efetivamente o obrigue ou que o force a ensinar os tópicos do currículo. Portanto, estou a imaginar que, se calhar, professores de primeiro ciclo que não acham muita piada às estatísticas, que é a minha área de trabalho, que se calhar: "Bom, como não há exame nacional, se eu não ensinar o que é moda e a média e por aí fora, não há problema nenhum, não há consequência nenhuma." Claro que volto a dizer que isso continua a estar no currículo, portanto, os nossos currículos não sofreram alterações entre 2015 e 2019, apesar de o governo estar a preparar uma alteração ao currículo. Não me parece que o problema seja o currículo, parece que o problema é mesmo a falta desta motivação extrínseca às aprendizagens, que é os alunos saberem que vão ter que demonstrar os conhecimentos que adquiriram durante o ano letivo numa prova final, e os professores terem noção que é importante ensinarem todos os tópicos do currículo. Aliás, repare-se as orientações da política educativa em curso, das aprendizagens essenciais, passaram logo em 2016 essa imagem, que o currículo era muito extenso, que havia imensas coisas que não era preciso ensinar, etc. E o resultado é este, infelizmente, pra todos nós.

Muito bem, portanto, só recapitulando, no último PISA em 2019, estamos colocados em 20° lugar do ranking de 58 países, no que diz respeito à Matemática e em 2015 estávamos em 13° lugar, portanto, descemos algumas posições no ranking. Ranking que continua a ser dominado pela Finlândia e por Cingapura. Professor João Marôco, sei que tem razões muito específicas para acreditar ferreamente no sucesso destes dois países. Finlândia, por que é um país que aparece quase sempre nos lugares cimeiros?

Nos lugares cimeiros europeus.

Europeus, sim.

Primeiros europeus. E que tem vindo a decair muito. Isso também convém perceber, porque muitas vezes as pessoas julgam que aquilo que está em prática num país, é aquilo que se diz que está em prática. E a Finlândia mudou a sua prática educativa e a partir daí veio a decair muito. Mudou porque deixou de dar atenção ao currículo explícito, passou a falar em termos do chamado estudo de fenômeno, estudo de projeto, atividades e ter menos ambição curricular. Eu julgo que na Finlândia foi esse o problema. Mas enfim, interrompi-vos, perdão.

Não, é isso mesmo. Eu não gosto muito de olhar pros rankings, se ficamos em 13° ou em 20°, porque, de fato, as realidades de países diferentes não são comparáveis. E a realidade finlandesa não é comparável com a realidade portuguesa. Eu sei que alguns teóricos da educação em Portugal gostam muito de visitar a Finlândia e ver o ensino centrado no aluno e não existir avaliações externas, etc. E esquecem-se de uma componente fundamental neste processo do ensino-aprendizagem, que é o professor. Porque se formos ver, na Finlândia, e ninguém fala disso, infelizmente, ser professor é a terceira profissão com maior estatuto, com maior relevância social. A primeira é ser médico, a segunda é ser padre e a terceira é ser professor. Portanto, começa logo por aí, quer dizer, a valorização social que a sociedade dá à profissão professor não tem nada a ver com a valorização social que a sociedade portuguesa dá aos professores. A sociedade portuguesa, a sociedade civil e a sociedade política, se quisermos falar nestes termos também. E depois a forma como os professores são treinados e são selecionados na Finlândia. Na Finlândia, 10% dos candidatos às escolas superiores de educação são admitidos, 10%. Isso quer dizer o quê? Quer dizer que entram os melhores dos melhores

E tal como um bom aluno, não é preciso mandá-lo estudar, porque ele sabe que tem que estudar e gosta de estudar, mais importante do que saber que tem que estudar. Também a um bom professor não é preciso dizer que tem que avaliar os seus alunos. Um bom professor não precisa de metas, não precisa de avaliações externas para avaliar o seu progresso, porque ele sabe fazê-lo.

Professor Nuno Crato não está muito de acordo .

Eu não estou muito de acordo. Isso era uma discussão que agora nos levava muito longe. Não estou muito de acordo, porque todos nós precisamos de metas, todos nós precisamos de um currículo, todos nós precisamos de objetivos. Mas enfim.

Não, mas eu quando digo que o professor não precisa de metas, é porque ele tem as suas próprias metas, que são metas exigentes. Ou seja, não precisa de uma entidade externa, que seja o ministério ou que seja uma sociedade científica ou profissional que diga: "Os alunos devem aprender isto e aquilo e aquilo", porque ele tem as suas metas internas.

É uma coisa que está bem interiorizada, não é? Professor João Marôco, estamos mesmo a chegar ao fim. Eu depois ainda gostava de ouvir mais o professor Nuno Crato sobre esta questão. Singapura, por que Singapura é um país que habitualmente aparece lá em cima no topo? Há uma razão para isso acontecer? Pedia-lhe rapidez.

Sim, senhora. Mais uma vez, a valorização dos professores é fundamental. Todos os sistemas educativos que têm bons desempenhos, têm professores valorizados. E no caso de Singapura, contrariamente às sociedades ocidentais, à Finlândia, Portugal, França, por exemplo, que têm problemas graves com estes desempenhos, a valorização que as famílias dão à educação e a valorização que os alunos dão aos seus desempenhos acadêmicos. Para um aluno de Singapura ter uma má nota a matemática é terrível. Para uma família é terrível. A escola intervém precocemente para detetar estes problemas e os alunos são rapidamente convidados, e a família é convidada a intervir no processo de recuperação do aluno.

Eu não sei se o nosso convidado está de acordo comigo, mas eu acrescentaria uma coisa, que é: um currículo muito bem estruturado, muito sequencial, muito organizado e que leva os jovens a terem um progresso muito acompanhado e muito orientado dos seus estudos.

Também. Mas eu acho que em Portugal o problema não é do currículo, é por isso que eu não enfatizei o currículo de Singapura. O currículo de Singapura, aliás, é utilizado como referência. Eu estou a trabalhar com o Banco Mundial na reformulação do currículo da Arménia e um dos documentos de referência do novo currículo de Matemática e de Ciências da Arménia é o currículo de Singapura. Mas assumindo que o currículo está bem construído, por que é que depois o currículo implementado e aquilo que é de facto aprendido pelos alunos não funciona? Tem a ver com a valorização dos professores e tem a ver com a valorização das famílias sobre a educação.

E está aí a receita. Parece fácil, mas é essa a receita do sucesso, não é?

Parece, mas não é.

Professor João Marôco, muito obrigado por ter vindo à Nota 20 desta semana. Muito obrigado e até uma próxima oportunidade. Professor Nuno Crato, estivemos aqui a falar sobre TIMSS, sobre PISA, sobre processos ou instrumentos de avaliação do sistema de ensino, que foram notícia e muita notícia, fizeram correr muita tinta nas últimas horas. Professor, seria estranho se não lhe perguntasse, quando foram apresentados estes resultados do TIMSS em Portugal, o professor Nuno Crato foi culpado pelo atual governo, por esta queda no ranking, por esta queda dos alunos portugueses, no que diz respeito à matemática. Como é que reage a esta atribuição de culpa?

Nem acho que valha a pena falar um segundo mais sobre isso. Foi um comentário infeliz. O que é importante é analisarmos aquilo que se passou e analisarmos aquilo que devemos fazer para melhorar o ensino destes nossos jovens.

Parece-lhe que, desculpe insistir, os currículos e as metas tornaram-se demasiado exigentes para os alunos?

Não, acho que não, acho que de forma alguma. A minha noção sobre isto é que uma vez resolvidos todos esses problemas envolventes que o professor João Marôco falou, da família, da motivação, da qualidade dos professores, da valorização que a sociedade dá ao estudo e que dá aos professores, uma vez esses problemas, que são problemas envolventes, aquilo que deve ser feito e aquilo que é essencial é um currículo ambicioso e bem estruturado e avaliação. São essas duas coisas, são as receitas do sucesso, que aliás, são receitas muito simples.

Portanto, deviam ser introduzidos os exames novamente na matemática?

Alguma forma de avaliação, sim, alguma forma de avaliação externa é importante. Repare-se que antigamente, desde 2001, que havia as provas finais de aferição, as provas de aferição no quarto ano de escolaridade, que agora desapareceram. Desapareceu tudo isso.

Muito bem. Sobre o TIMSS, e sobre o PISA, e sobre os instrumentos de avaliação dos sistemas de ensino, pedia-lhe habitualmente duas breves notas, com a habitual maldade de lhe dar apenas 30 segundos, porque temos que fechar o programa .

Eu julgo que já dei as breves notas, ou seja, é importante esta avaliação internacional, é uma avaliação independente, é uma avaliação externa e que nos permite não só comparar-nos com os outros países, como também comparar-nos conosco próprios num período anterior e ao longo do tempo. E, em minha opinião, é aquilo que lhe disse, é que as duas coisas essenciais para melhorarmos a nossa posição nestas avaliações internacionais é melhorarmos a educação. E essas duas coisas essenciais para melhorarmos a educação são um currículo ambicioso e alguma forma de avaliação externa que ajude todos a progredir.

Professor, estamos de regresso na próxima semana. Será o último programa desta temporada do Nota 20.

Exatamente. Até para a semana.