Esta transcrição foi gerada automaticamente por Inteligência Artificial e pode conter erros ou imprecisões.

Bem-vindo ao Nota 20 desta semana. Olá, professor Nuno Crato.

Ora viva, aqui estamos de novo.

Hoje vamos falar sobre exames, numa altura em que há alunos à espera dos resultados da segunda fase. E por falar em resultados, vamos aos resultados do nosso inquérito no Twitter. Perguntamos aos nossos ouvintes no último programa: os exames servem só para avaliar os alunos? E havia duas opções de resposta. Opção A: servem apenas para isso. Opção B: também avaliam o ensino. E 74%, professor Nuno Crato, respondeu que os exames servem para também avaliar o ensino. Este resultado, na sua opinião, espelha o quê?

Espelha o fato de que os exames têm servido para ir vendo como é que o ensino evolui. Eu julgo que a maioria das pessoas tem razão, julgo que é isso que se passa, embora haja muito a fazer ainda para que os exames tenham um grau de dificuldade constante de ano para ano, para que sejam fiáveis, para que meçam melhor o estado do ensino. Mas sim, acho que a maioria das pessoas tem razão.

E é nosso convidado no Nota 20 desta semana, Pedro Freitas, doutorando em Economia na Nova SBE, onde também dá aulas. O Pedro tem investigação feita em áreas da economia da educação e também em capital humano. Pedro, muito obrigado por ter vindo ao Nota 20 esta semana.

Obrigado, João Miguel, pelo convite.

Pedro, começo esta conversa com uma pergunta muito aberta: prós e contras dos exames.

Esta discussão da existência de provas universais, globais e comparáveis entre todos os alunos é uma discussão que existiu e existe muito em Portugal, mas também existe um pouco noutros sistemas de ensino. Por exemplo, nos Estados Unidos, foi uma discussão que apareceu muito no início dos anos 2000, quando foi implementada uma série de reformas que ficaram conhecidas como "No Child Left Behind" ou "Nenhuma Criança Fica para Trás", em que grande parte desta reforma implicava uma generalização deste tipo de exames, deste tipo de provas. E do lado dos argumentos contra esse tipo de provas, aparece muitas vezes a questão de se correr o risco de haver uma formatação do ensino para a realização destas provas. Tem havido algumas tentativas de investigação neste sentido, por exemplo, se os resultados dos alunos mudam, se mudarmos um pouco o formato do exame, se mudarmos a ordem das perguntas. Outra das críticas que é feita é que desvia a atenção de outras disciplinas que não sejam sujeitas a exame. Por sua vez, do lado dos argumentos a favor, para além da informação que dá aos pais, aos alunos, ao sistema, também o fato de criar aqui objetivos, de criar aqui metas de aprendizagem que são comuns para todos e que podem criar um incentivo, sobretudo para aquelas escolas que têm um ponto de partida mais difícil, em tentar atingir estes objetivos no final, numa prova que será igual para todos os alunos.

E o que é que nos diz a literatura científica sobre os exames?

Há alguns estudos sobre a realização destas provas, destes exames. Eu destacaria aqui dois. A meio dos anos 90, começou a haver a generalização destas provas em Chicago, no terceiro, sexto e oitavo ano, em leitura e matemática. E há alguns estudos que tentaram olhar, nomeadamente um estudo que tentou olhar para a evolução dos alunos depois da introdução destas provas, comparando com outras cidades nas quais não tinham sido introduzidos estes exames. E a conclusão a que se chegou é que havia impactos positivos, ou seja, a introdução destes exames levou a impactos positivos destes alunos de Chicago, comparado com alunos de outras cidades americanas, e que estes impactos negativos eram mais fortes para escolas cujo ponto de partida era mais baixo, ou seja, não era um impacto heterogêneo, não era igual para todos, era melhor para aquelas que o ponto de partida era menor. E este impacto era explicado, ou o mecanismo que gerou este impacto era, no caso da matemática, melhorias no cálculo, ou seja, na capacidade de cálculo dos alunos, e no caso da leitura, dos alunos mostrarem maior persistência na realização da prova, ou seja, os alunos enquanto realizavam a prova, tinham mais paciência e tinham mais determinação para terminar a prova. Contudo, este estudo também detetou alguns dos problemas que detetamos nesta discussão dos exames, ou seja, houve alguns indícios de que disciplinas como Ciências ou outras áreas de Ciências Sociais perderam alguma importância na escola e também havia algum indício de que os professores tinham alguma tendência a não levar todos os alunos a exames, apenas aqueles que sabiam que poderiam ter um resultado melhor.

Pedro, posso fazer um pequeno comentário? Eu acho que é muito interessante colocar os problemas nesses termos, porque habitualmente a discussão que se tem sobre os exames, pelo menos em Portugal, mas também noutros países, é que o aluno que vai fazer o exame, se tem estresse, se não tem estresse, se é bom para o aluno ter a perspectiva de poder ficar retido, se não é bom ter essa perspectiva, etc. Ou seja, a discussão é muitas vezes uma discussão individualizada: para este aluno em particular, o que se passa. E o que esses estudos têm feito, pelo que eu estou a perceber, é ver as coisas do ponto de vista do sistema de ensino. Portanto, não é para este aluno reprovar ou não reprovar é bom, mas é para todo o sistema de ensino, ou seja, para todos os alunos, é bom ou não é bom haver este tipo de provas. E eu acho que há aí outro assunto também muito interessante, que se verificou nesse estudo de Chicago, mas o Pedro explicará depois em que medida é que isso se replica noutros estudos, que é os alunos mais desfavorecidos ou os alunos com ponto de partida mais recuado, são aqueles que mais beneficiam desse tipo de exames, o que é um ponto muito curioso também.

E nessa perspectiva de compararmos sistemas, um outro estudo também recente que foi feito, foi olhar para os resultados do PISA. O PISA é aquele estudo feito a alunos de 15 anos pela OCDE desde 2000, e pegarmos nos resultados do PISA de 2000 a 2015, aquilo é feito de três em três anos, ou seja, há aqui várias levas do PISA feito, e comparar os resultados em leitura, matemática e ciências entre sistemas que têm e não têm provas universais e comparáveis. Ou seja, o que aqui nos permite é um horizonte largo de 15 anos, ao longo de 15 anos, nos 50 e tal países que fazem o PISA, houve várias mudanças de política, houve países que introduziram exames, houve países que tiraram exames, e é nestas variações que é possível ver qual é o impacto de existirem estas provas nos resultados, depois numa prova internacional como é o PISA. E de facto, mais uma vez, os impactos eram maiores para aqueles sistemas de ensino que tinham provas universais e comparáveis no momento da vida dos alunos até aos 15 anos, mas também nos países em que os resultados destas provas eram públicos. Ou seja, não era público a nota individual, mas era público resultados por escola, por região, etc.

Isso é muito curioso, de facto, porque isso significa, a minha leitura disso será, o Pedro corrija-me, que o facto de os resultados serem públicos traduz também alguma pressão sobre as escolas, sobre professores, sobre pais, etc, para melhorar os resultados. Será essa a interpretação?

Sim, talvez não chamaria pressão.

Sugestão.

Uma sugestão, ou seja, aumenta a informação que exista acerca do sistema e que permita haver uma decisão mais informada por parte de todos os agentes no sistema. Mais uma vez, aqui os impactos também eram maiores para sistemas de ensino cujo ponto de partida era mais baixo. Ou seja, países cujo ponto de partida no PISA tinha sido mais baixo, foram aqueles para os quais o ganho de haver provas universais e comparáveis também foi maior.

Pedro, só para talvez situar os nossos ouvintes aqui num tema que é o seguinte: o PISA não são exames. O PISA é uma avaliação feita sobre as capacidades cognitivas que os alunos atingiram, que é comparável ao longo dos anos e comparável ao longo dos países. Só que serão os tais exames dentro de cada país que podem ou não ter impactos positivos no nível cognitivo atingido pelos alunos. Estou a raciocinar bem?

Exato, o PISA são exames que não contam para a nota dos alunos. Também é preciso salvaguardar isso.

É uma medida, pura e simplesmente uma medida.

Exatamente.

Pedro, não respondeu ao comentário anterior do professor Nuno Crato. Falava nos diferentes tipos de alunos e nos impactos dos exames. Gostava de ouvir sobre isso.

Desses estudos, o que sai é que este impacto não é homogêneo, o impacto em média é positivo, mas que tende a favorecer escolas, no estudo de Chicago, escolas cujo ponto de partida era mais baixo, ou seja, que tinham uma maior percentagem de alunos com dificuldades. E no caso do estudo PISA, os sistemas que também partiam de um ponto mais baixo, comparado com países que à partida já tinham resultados em PISAs anteriores mais elevados.

Portanto, o contrário do que muitas vezes se diz. Porque muitas vezes se diz: "Os exames têm problemas porque prejudicam os alunos menos bem preparados." Mas pelos vistos, pelo menos nesses estudos, a conclusão é contrária.

Exato. Eu acho que aqui podemos talvez discutir a questão do porquê. Porque os exames constituem uma fonte de informação, e talvez eu salte aqui para esta questão, obviamente há consequências boas e más dos exames, mas a informação que nós temos é, de facto, maior. E, por exemplo, houve um outro estudo feito no País de Gales, em que no início dos anos 2000, o País de Gales e Inglaterra publicavam os resultados dos exames por escola. E a partir do início dos anos 2000, o País de Gales deixou de reportar esta informação. E o que se notou nos anos seguintes, e há um estudo interessante sobre isso, é que a perda dessa informação pública, ou seja, deixar de sabermos quais são os resultados por escola, levou a uma queda dos resultados em leitura, matemática e ciências nas escolas do País de Gales, em proporção com as escolas de Inglaterra, ou comparado com as escolas de Inglaterra. Por quê?

Por quê? Porque deixou de haver a tal sugestão que o professor Nuno Crato dizia há minutos?

Exatamente, ou seja, deixou de haver uma informação que cria um incentivo para a escola obter melhores resultados. Eu penso que o problema que nós temos em Portugal, e agora ligado à nossa realidade, e muitas vezes talvez nos leva a ter a discussão dos exames, é que nós também temos exames e esta informação também é pública. Eu acho é que nós temos aqui também uma oportunidade de usar melhor a informação dos exames, porque nós sabemos que muitas vezes uma das resistências que existe aos exames e à informação é porque depois nós temos sempre, todos os anos, aquelas listas dos rankings, que são listas um bocadinho secas e um bocadinho tétricas, e que não nos dizem genuinamente muito sobre as escolas, porque nós sabemos que as escolas trabalham em contextos diferentes, trabalham em realidades diferentes. Eu acho que um dos pontos importantes de trazermos para a discussão é: os exames trazem-nos informação, mas eu acho que nós podemos fazer melhor com essa informação. Portanto, antes de pensarmos em não termos esta informação, como é que a podemos usar melhor? E vou dar uma sugestão.

E como?

Como é que se pode fazer, exatamente. Por exemplo, nós temos os exames do 12º ano e temos os exames do nono ano, a língua portuguesa, imaginemos. Por exemplo, nós podemos medir entre o nono e o 12º, entre o exame de nono ano e o exame do 12º ano, qual é o contributo que a escola faz para a evolução do resultado dos alunos entre o nono e o 12º ano, e o que isso nos diz? Por exemplo, nós teremos escolas que se calhar estão em meios complicados e que têm uma população escolar difícil, mas que se calhar, dado o seu ponto de partida no nono ano, se calhar conseguem fazer contributos entre o nono e o 12º ano, maiores do que outras escolas, que estão em ambientes mais favorecidos, no mesmo horizonte entre o nono e o 12º ano. Ou seja, é termos uma medida de valor acrescentado ao longo do secundário. Nos pode dar uma perspectiva nova, por exemplo, e que nos pode, sobretudo, ajudar a olhar para as escolas, não em função do valor absoluto de tem 10.8 de média, ou 12, ou 14, ou o que seja, mas em função do contributo que elas fazem, dada a realidade em que se inserem, por exemplo.

Agora, se não houver avaliação, isso não é possível fazer. Portanto, é bom que haja avaliação e é bom que a avaliação seja fiável.

Exato, eu acho que nós, para além de termos uma discussão, os exames dão informação. Eu acho que nós temos é que discutir como é que nós podemos tornar esta informação mais interessante, não só a todos, para os vários agentes, mas também do ponto de vista de política pública, mas não de um ponto de vista punitivo. Ou seja, se nós identificamos uma escola, por exemplo, que o conselho acrescentar aos alunos entre o nono e o 12º ano é relativamente mais baixo, não de um ponto de vista punitivo, mas podemos tentar usar estes dados para perceber o que é que falha nesta escola, que recurso é que esta escola poderá precisar e que não tem.

Ao contrário, Pedro, o que é que está a correr tão bem nesta escola que mereça ser replicado noutras?

Que mereça ser replicado. Eu acho é que mais do que discutir não termos esta informação, eu acho que podemos é discutir como é que podemos tornar esta informação mais interessante e adaptá-la ao contexto que cada escola tem, nomeadamente a sua população escolar.

A sua resposta matou quase a minha próxima pergunta. Professor, diga. Ia fazer um comentário? Diga.

Eu ia fazer uma sugestão ao Pedro, que ele explicasse um pouco melhor como é que é possível chegar a estes resultados, porque são coisas difíceis de estudar. Nós não podemos pegar no aluno e fazer exame e depois dizer ao aluno: "Olha, agora vamos voltar atrás e não vais fazer exame e vamos ver o que é que é melhor pra ti." Não é possível, isso é uma questão de ficção científica. Portanto, é preciso medidas agregadas que nos permitam chegar a conclusões sobre isto. Ou seja, é preciso comparar sistemas e sem a intervenção direta do observador. Não sei, acho que o Pedro podia talvez explicar isto um pouco, porque são coisas tão difíceis de estudar que estes estudos merecem ser vistos também desse ponto de vista. O que é que eles conseguiram? Como é que eles conseguiram obter dados para isto?

Voltando ao caso de Chicago, por exemplo, o que o estudo fez foi pegar em Chicago e pegar em três ou quatro outras cidades comparáveis, nas quais não existiram exames, e depois comparar a evolução de Chicago, onde existiu esta variação de política, onde houve esta mudança política, com outras cidades onde não houve mudança política. Por exemplo, também já houve estudos de introdução de exames na Alemanha. A Alemanha são estados federados, mas cada estado tem autonomia na decisão de existência ou não de exames. Por exemplo, também já houve estudos na Alemanha, porque há alguns estados que introduziram exames e outros estados que não introduziram exames. E comparando estados que introduziram com estados que não introduziram, qual é que é o impacto entre alunos que estão num estado e alunos que estão no outro estado? Ou seja, é este tipo de exemplos que nós precisamos de encontrar, para encontrar aqueles que foram sujeitos a uma determinada política versus aqueles que não foram sujeitos a uma determinada política.

Comparando antes e depois de ambos, não é?

Comparando antes e depois de ambos, exatamente. Voltando um bocadinho atrás, talvez possa, não sei se é melhor, à questão da informação, porque essa questão da informação é importante, ou seja, não destruir a informação que temos, mas acrescentar à informação que os exames dão. E um dos riscos que também se diz sempre dos exames, que é serem redutores. E de fato, podem ser redutores se nos focarmos apenas neles. Mas se não são redutores, então na mesma medida em que nós queremos melhorar a informação que os exames nos dão, também devemos investir na informação que temos em relação às escolas. Ou seja, que outras informações acerca da forma como a escola está a contribuir para os seus alunos nos podem dar uma perspectiva mais alargada. E dando um outro exemplo, há um estudo muito recente na América Central, que é uma realidade diferente, é verdade, mas que nos mostrava uma coisa muito interessante, que era: os pais olham para resultados de exames quando decidem a escola onde põem os filhos, é verdade, mas também é verdade que os pais reagem a medidas como quanto é que a escola é capaz de alterar o comportamento dos alunos? Quantos daqueles alunos é que anos mais tarde conseguem estar empregados e conseguiram acabar o ensino superior? Ou seja, a discussão sobre os exames é muito uma discussão em torno da informação e das limitações que esta informação nos dá. Mas se de fato achamos que nos dão informação limitada, então vamos melhorar a informação que ela nos dá usando os dados dos exames. E se de fato nós achamos, como é verdade, que as escolas não devem avaliar só uma dimensão, mas devem avaliar várias dimensões, então vamos também melhorar a informação que temos acerca das escolas e do impacto que elas têm agora e no futuro dos alunos. Eu acho que esse é que é o desafio, até para percebermos que exemplos bons é que temos e naqueles que correm menos maus, que políticas públicas é que podemos ter para ajudar as escolas que não estão a contribuir em diversas dimensões, das escolas que não estão a contribuir tanto para a progressão dos seus alunos.

Pedro Freitas, não temos mais tempo. Muito obrigado por se ter juntado à edição desta semana do "Note Irónico".

Muito obrigado, João.

Se quiser saber mais sobre o tema dos exames, o Pedro Freitas, em coautoria com o investigador Hugo Reis, publicou há dias um artigo na Iniciativa Educação chamado "Exames a exame". Professor Nuno Crato, sobre esta questão dos exames e das suas vantagens e desvantagens, prós e contras, temos 45 segundos, peço-lhe três notas muito rápidas.

Muito bem, primeira nota: é preciso avaliar o impacto dos exames sobre o sistema educativo no seu conjunto e não estarmos a olhar só pra casos individuais, que também importam, mas não estar a olhar só pra casos individuais, estar a olhar pra melhoria do sistema. Segunda nota: dão informação, mas é preciso mais informação. Terceira nota: é muito importante olhar para o valor acrescentado, ou seja, olhar para as escolas e pensar como é que as escolas vão evoluindo ao longo do tempo e o que é que vão acrescentando aos seus alunos, e não olhar só para os resultados médios.

Muito bem.

Seriam estas três conclusões, talvez.

E cumpriu o tempo. Antes de fecharmos o programa, deixamos a habitual pergunta para os nossos ouvintes no Twitter. A pergunta que fazemos esta semana é: há uma diferença significativa entre uma criança entrar com cinco ou seis anos na escola? Opção A ) Sim, pela sua maturidade. Opção B ) Depende da criança. Acho que está tudo, professor Nuno Crato.

Também me parece que sim.

Até pra semana.

Até pra semana.