Muito bom dia. 300 mil exames nacionais do 11º e do 12º anos foram digitalizados, mas o sistema informático que permite a correção tem falhado sistematicamente. O Ministério da Educação adiou a data de exames e da divulgação das notas. 17 de julho é o novo dia para a divulgação dos resultados e também para sabermos se o ministro Fernando Alexandre resiste a esta crise. Bom dia, Helena Matos.

Bom dia.

O ministro já disse que assume a responsabilidade política do que está a acontecer. Esta é uma polêmica que, na tua opinião, vai ter consequências?

Vai. Eu acho que temos aqui fatores diferentes. Eu corrigi exames no tempo da caneta e do papel, fiz exames como aluna e depois como professora corrigi-os. Parece-me que há, nas declarações de Fernando Alexandre, que aliás se inserem noutro tipo de declarações de outros responsáveis, esta convicção de que esta forma de correção através da digitalização, é um futuro no qual temos de testar. E é curioso porque Fernando Alexandre diz, em dado momento, nas entrevistas que deu, ele tem se multiplicado pelos estúdios de televisão e a dar entrevistas, diz: "Nós não estamos no século XX." E de repente, porque quem nasceu no século XX, como é o meu caso, continua a pensar: "Século XX? O que ele quis dizer com isto? Não, nós estamos no século XXI." E portanto, sim, estamos no século XXI e esta questão é uma questão que se coloca. É correção, é uma das questões. Eu acho que hoje aqui no "Contra Corrente", temos um painel de luz que nos pode ajudar a perceber isto, que esta é uma opção para nos pôr no tempo e portanto aquilo que estamos a viver são as dores de uma mudança tecnológica feita, e aí recupero as declarações de Fernando Alexandre ontem, que porventura houve algum excesso de voluntarismo nesta matéria, e agora eu acrescento, tinha havido uma experiência o ano passado de correção digital com Filosofia, tinham se detectado alguns problemas. Só que uma coisa é estar a trabalhar-se nos exames de uma disciplina mais ou menos, infelizmente, neste momento, residual. Outra coisa é passarmos para um universo de 300 mil exames. Depois temos um outro problema, que é estes 300 mil exames reportam a anos, nomeadamente os de 12º ano, que estão em cadeia. Portanto, não é apenas um atraso nestes exames. Os exames de 12º ano levam depois àquilo que são os processos de candidatura às universidades. E portanto, temos aqui um problema em cadeia de poder gerar, ou não, outros problemas com o próprio acesso às universidades. E aí chegamos à data que tu deste.

17 de julho.

17 de julho. Já se trata de uma nova data. Tiveram de ser feitas alterações nas datas para os corretores. Também será interessante durante o programa vermos o que é esta figura do professor corretor, porque há aqui uma mudança também. Classificador, pronto. João Marôco corrigiu. Professor classificador. Isto é uma abordagem diferente daquela que havia no passado em relação aos professores que de fato corrigem os exames e portanto, por isso eu tenho chamado professor corretor, mas o professor classificador agora, se isto é positivo, se não é positivo, a própria forma diferente de corrigir os exames. Antigamente, um professor recebia as folhas de exame dos alunos, da pergunta primeira à última. Neste momento o paradigma é outro, passou-se por uma correção, classificação itemizada. E à partida, isto parece-me melhor.

Por quê?

Porque quando estás a corrigir itens de diferentes alunos, o mesmo item em diferentes alunos, tens uma abordagem mais padronizada para aquele item. Também se pode dizer, bem, quando se via a totalidade do exame, tinha-se uma perspectiva mais personalizada daquele exame, porque muitas vezes um exame também tem uma dose de sorte. Mas tem-se uma visão mais global. Portanto, isso é uma das coisas, como é óbvio, os nossos convidados têm muito mais experiência, competência, capacidade de análise sobre isso, o que será mais justo do ponto de vista dos alunos. Eu quero só dizer uma coisa, há um dado inequivocamente positivo disto, para mim, não sei se será para as outras pessoas, que é os alunos passaram a ter acesso à sua prova corrigida ou classificada.

Passaram? Vão passar a ter.

Vão passar, porque até agora só poderiam ter.

Essa sugestão num artigo no público.

Já tinham, mas pagavam €25, se não estou em erro, esperavam dois dias, às vezes não era bem dois dias, dia e meio, caso quisessem fazer um recurso. Portanto, era um processo burocrático, que tinha de se pagar, tinha um tempo de espera. Agora, passou a ser

O ministro comprometeu-se nestas entrevistas a fazer isso.

Ainda não funciona.

Creio que será.

Ou ainda não está disponível.

Não pode estar disponível porque ainda não tens as notas.

Não estão corrigidas as notas.

Era o que só faltava. Não fazia sentido algum, já temos títulos para que chegue.

Era interessante acompanhar em direto a correção do professor.

Nós já temos problemas que nos cheguem. Não precisamos de propostas só para virem ainda complicar mais. Mas sim, seria interessante eles verem. Só que um parêntesis, eu fiz isso quando tive uma turma com oito alunos em latim. Mas era latim, era um latim básico.

"Oculum, oculos, oculi."

Era muito básico. E é talvez dos exercícios que mais contribui, na minha opinião, para que eles aprendessem alguma coisa, até porque era uma disciplina da qual eu sabia pouco mais que o básico. Porque professor de latim não é assim uma coisa.

Não sabe falar latim.

Conheci, tive professores que sabiam, de fato, e sabiam latim. Isso é um exercício, a tua proposta talvez não seja assim tão destituída. Era complexa nesta fase. Voltando aqui, nós temos então prever esta questão, se esta forma é inevitável, quais é que são as suas vantagens e as suas desvantagens. Depois, o que é que daqui pode resultar de mais vantajoso para os alunos, uma correção mais justa. Se ganhar o acesso às suas provas devidamente classificadas. E depois temos aqui aquilo que se prende com o lado político. Eu não me vou alongar muito mais, com o lado político desta crise. Eu acho que se as notas estiverem cá fora, as classificações, no dia 17, poderemos falar de uma forma. Porque tirar Fernando Alexandre, que é o que eu acho que acontecerá se dia 17 as classificações não estiverem cá fora, parece-me ser mais ou menos inevitável, o que não quer dizer que ele vá ser substituído por uma pessoa mais competente. Ponto. Acho isso. Mas percebo que politicamente é muito difícil, depois de ter apresentado datas, depois novas datas, depois ter dado a cara por tudo isto, por ter estado, como esteve, em estúdios de televisão, explicar que agora vamos ter esta data dia 17, que até podia ser uns dias antes, mas que ele achou que por uma questão de segurança, devia ser o dia 16. Parece-me que aquilo, para lá das classificações dos exames, temos também aqui a questão da sobrevivência política ou não do ministro. Ele dá a cara.

Independentemente disso, mesmo que no dia 17 sejam publicados os resultados, isso não deve ser motivo de uma avaliação política mais profunda.

Não.

Porque não correu tudo bem até agora.

Não, mas nunca vai correr tudo bem. Aliás, tenho a dizer-te uma coisa, o Ministério da Educação, independentemente-

Mas por que não vai correr tudo bem?

Sempre que falas com alguém que foi ministro da Educação e que te tenta explicar que tentou fazer alguma coisa, ele vai te explicar que é muito difícil.

Sim, mas tentou o ano passado.

Sim.

E uma das críticas que é feita ao processo do ano passado é que não foi sujeito a uma análise exaustiva sobre o que terá corrido mal.

Não sei se foi ou não, penso que nenhum de nós sabe. Agora, que é óbvio que passar de um universo tão restrito para um universo de 300 mil exames, o passo deve ter sido maior que a perna, penso eu, bastante. Ou seja, houve aqui claramente um erro de avaliação de Fernando Alexandre. Neste sentido e, porventura, um excesso de voluntarismo. Já cá estamos todos há muitos anos e vimos diferentes primeiros-ministros, diferentes cores políticas, seja PS ou PSD, a mudarem responsáveis, particularmente nas áreas da educação e da saúde, para pouparem os governos, sendo que o seguinte é quase invariavelmente pior que o substituído. Na saúde, isso foi trágico. Estou a pensar na saída de Correia de Campos, por exemplo. E Eduardo Alberto. Podemos pensar. Não estou a dizer que seja algo do mesmo. Podemos questionar aqui se politicamente temos essa questão. Não me parece que Montenegro possa manter Fernando Alexandre para lá do dia 17.

Sobretudo pelo compromisso que ele assumiu.

Também ele podia não assumir.

Assumiu que dia 17 as notas seriam.

Uma coisa é fugirem umas criaturas de umas prisões e a ministra da Justiça, enfim. São fatores externos. Temos um tiroteio não sei onde, o ministro da Administração Interna até pode dizer que acha que é uma questão de perceção, mas na verdade não foi ele que andou aos tiros. Agora, isto aqui resulta de uma decisão de um ministro.

Não, ele próprio diz que foi uma decisão política.

O próprio Ministério da Saúde, Ana Paula Martins não consegue controlar o número de grávidas que se apresentam numa urgência. É diferente. Aqui há um empenhamento do ministro e aí há esta questão, se politicamente ele tem condições para continuar. Mesmo, como tu dizes, que corra tudo bem no dia 17, que nunca será um correr tudo bem, porque entretanto já correu mal.

Eu não digo as condições, eu digo se a execução política deste processo, ou se a execução deste processo não deve ser alvo de escrutínio político.

Eu acho que tem de ser alvo de escrutínio público.

Mas ele diz que vai fazer uma auditoria.

Tenho dúvidas se vale ou não a cabeça de um ministro Nesse sentido. Depois, acho também que temos aqui, em relação a isso, uma outra questão, que por razões várias eu posso formular, será mais difícil ver isto formulado no espaço público, e que é: qualquer tentativa de mudança, muitas vezes dentro de alguns ministérios, nomeadamente dentro deste que é um grande empregador nacional, confronta-se com inúmeros lobbies, corporações e, portanto, muitas vezes, qualquer tentativa de mudança, estou a pensar o problema dos concursos de professores há alguns anos, quando havia referências claras a situações de boicote interno. A Ana Paula Martins está a referir essas questões em relação à saúde. Um ministro da Educação também não pode ser tão ingênuo em relação a esses assuntos quando avança pra uma operação destas. Quando avançou pra uma operação destas, Fernando Alexandre pensou em tudo aquilo que tinha pela frente. Acho que temos aqui matéria, pra já, de exames propriamente ditos. E do que é que está a acontecer do ponto de vista tecnológico, as alternativas, os sistemas, isto ia ser sempre assim. Estou a pensar o caso da colocação de professores há alguns anos, em que a solução acabou a ser aparentemente simples. Também houve problemas do ponto de vista tecnológico. E depois uma outra pergunta que talvez seja de colocar, e que é esta: faz sentido este modelo de correção e classificação em que está tudo concentrado? Um dos grandes problemas do Ministério da Educação, e nós temos sempre essa enorme discussão, e já a tivemos vezes sem conta, sobre os concursos de professores, tem que ser uma coisa majestática, algo conectada. Agora não é com papel e caneta, é conectada pelos computadores, tudo a 5 de outubro.

Já não é dia 5 de outubro.

Também não é dia 5 de outubro.

Mudou a data.

24.

Que é um sítio inóspito.

Virou no calendário.

E então, tudo ali, tudo concentrado. Faz sentido este modelo? Acho que temos matéria quanto baste. Eu cumpri rigorosamente o tempo que me tinha dado para falar. Vamos.

Muito bem. Temos em estúdio o Ricardo Reis, diretor do Centro de Estudos Aplicados da Católica Lisbon School of Business and Economics, certo?

Já não, mas sim. Em tempos. Até há pouco tempo.

Economista. E também o João Maruco, professor de Estatística na Universidade Lusófona, está muito ligado a essas questões da economia e da educação, dizem aí.

E que foi responsável no IAVE, portanto, por exames.

Muito bem. Ricardo, só um momento, vou aqui primeiro ao João Maruco. O que se ganha com a correção digital dos exames?

Muita coisa. Bom dia a todos, antes de mais. Muita coisa. Ganha-se economia, ganha-se eficiência, ganha-se eficácia e ganha-se uma coisa ainda mais importante, que é a fiabilidade e a validade do processo classificatório. Como a Helena estava a referir muito bem.

Mesmo que ele contenha todos os percalços.

Não. A fiabilidade aqui nunca esteve em causa. Tem que ser bem feito.

Tem que ser bem feito, mas há aqui outra coisa: não está em causa que aquelas notas não correspondam àquelas coisas diferentes.

Está.

Acha que pode acontecer?

Claro.

Que o Artur apareça com as notas da Maria?

Não é com as notas, é que a prova do Artur apareça com a resposta da Maria.

Pronto.

Que é isso que os professores classificadores têm estado a relatar.

Por causa das folhas que não vêm. Certo.

Das folhas que vêm trocadas, das folhas de continuação que não aparecem, de aparentemente ruído que aparece na digitalização. E nós só estamos a falar dos chamados itens de construção, ou seja, aqueles em que o aluno tem que escrever um pequeno texto, mas também há os itens de seleção, que são vulgarmente designados por os itens de cruzinha. Essa correção é automática, nem sequer passa pelos professores classificadores. Ainda ninguém falou disso, mas eu que tenho alguma experiência nisto, faço isto com os meus alunos, obviamente, no ensino superior. Claro que não são 300 mil, mas ainda ninguém falou nisto: como é que está a decorrer a correção automática dos chamados itens de seleção?

Chamadas respostas de escolha múltipla.

Isso. Se de facto os digitalizadores, como alguns professores classificadores têm reportado, estão a adicionar ruído às folhas digitalizadas.

O que é ruído?

Ruído é uma acentuação de uma palavra, ou seja, aparece uma manchinha preta ou aparece um risquinho preto que não foi o aluno que fez, mas que o digitalizador, porque eventualmente está sujo, com pó, quando digitaliza aquela folha aparece, imagina, um tracinho preto em cima de uma palavra que está mal acentuada. E o professor corretor, se não estiver muito atento, vai olhar pra aquilo e diz: "Esta palavra está mal acentuada, está errada". Que garantia é que nós temos que nos três itens de cruzinhas, como o João estava a referir, não há também esses problemas? E que o software de correção automática, que vai olhar pro sítio onde está o X, onde está pintado o quadrado, ou então onde está pintado o quadrado e tem outro quadrado à volta, que não vai encontrar uma bolinha num outro quadrado e vai assumir que, por exemplo, o aluno deu duas respostas quando na verdade ele só deu uma. E a outra bolinha é um ruído de digitalização. O sistema tem tudo pra ser muito eficaz. A Helena falava que quando os exames eram classificados por um único professor, o exame todo, isso obviamente introduz muito mais variabilidade no processo de classificação do próprio professor.

E subjetividade. Muita subjetividade.

E muita subjetividade. E esse é um princípio básico da avaliação: não há lugar pra subjetividade Porque infere se o aluno queria dizer, nada disso. Isso não existe em sistemas sérios que têm preocupações muito rigorosas com a questão da validade e da fiabilidade das classificações. Não há adivinha. Aliás, nos estudos internacionais, que era esse o meu pelouro quando estive no IAVE, eles utilizam uma expressão que é: "Se me faz adivinhar perto." Isto em inglês soa melhor, mas em português é assim que se traduz. Ou seja, se não estiver explícito o que o aluno quer responder e se, de alguma forma, o classificador subentender qualquer coisa, a instrução que tem é, no caso dos estudos internacionais, nem se fala em classificação, fala-se em codificação, é codificar com zero. É um pouquinho diferente classificar ou codificar. Codificar é olhar para um tipo de resposta e dizer: "Este tipo de resposta corresponde a este código 0, 1, 2, 3", que seria equivalente ao 0., 1., 2., 3. E isto, obviamente, um professor, quando está a ler um exame na sua totalidade, começa a perceber o estilo de escrita do aluno, começa a perceber o raciocínio do aluno e se calhar chega à última questão e diz: "Isto, de facto, não está aqui escrito, mas depreende-se daquilo que ele escreveu noutras questões, que ele até sabe do que está a falar."

Exatamente.

Exatamente.

E isso não é um processo.

Isso acontece.

Sim, eu sei que acontece.

Acontece.

Não é que não deva acontecer.

Eu tenho dúvidas que se possa dizer assim, não é um processual e que nós podemos ter sempre uma perspectiva holística e global à coisa que é o ser humano. Isso é outro debate.

Mas o espaço para isso é durante o ano letivo, na relação com o professor.

Mas sabe qual é o problema?

No exame é outra coisa.

A sua interpretação holística pode ser completamente diferente da interpretação holística de outro professor.

E eu acho que o espaço para isso é durante o ano letivo.

É aí que se perde a validade.

Sim, na relação com o professor, na sala de aula com o professor da disciplina, sim, há todo o espaço para essa subjetividade.

Portanto, resumindo, o que o João Mauro está a dizer é que este sistema não tem compaixão. Ou seja, não tem aquela condescendência natural.

Não é compaixão. Não tem lugar para a avaliação subjetiva.

Às vezes não é compaixão, às vezes até pode ser para penalizar. Respondeste isto aqui, mas não sabes nada disto.

Exatamente.

Ou respondeste isto tudo mal, mas eu sei quem és, ou já te sei quem és.

É mais aquela dose.

Ou uma coisa que todos os professores fazem e que eu próprio, quando fazia correção manual, também fazia, que era responder à questão três na questão dois.

Exatamente.

Sim, exato.

E portanto, a questão três está errada, mas eu olhava para aquilo e até fazia isto, punha uma bola à volta daquela coisa e dizia: "Isto é a questão três" e ia dar crédito ao aluno. Isso está errado, do ponto da validade, porque um outro colega meu pode dizer: "Não, isto não é a resposta à questão dois, na questão três ele não respondeu."

E corrige por itens, resolve isto, porque o colega que vai corrigir a questão três não viu a questão dois.

Tudo isso é um outro debate que tem muito a ver com a tecnologia e a questão da abordagem mais humana ou menos humana. Mas é outro debate.

A questão porque é que é importante introduzir a tecnologia, introduzir a classificação por item, é exatamente uma questão de validade da correção e de justiça da correção. Ou seja, como nós sabemos, no nosso sistema de ensino...

O critério é igual para todos. Não há ali um professor a avaliar e dizer...

Duas ou três décimas num exame final.

É desvalorizar o professor, na minha perspectiva, mas é uma perspectiva.

Mas tens todo o ano na sala de aula.

É outro debate.

Avancemos, por favor.

Mas desvalorizamos, eventualmente, a apreciação subjetiva do professor, mas valorizamos a validade da classificação. Como nós sabemos, em Portugal, e não só, décimas são suficientes para entrar no curso de primeira escolha ou não. E portanto, se o aluno tiver a sorte de ter um professor, digamos, mais bonzinho, que é a expressão que nós utilizamos, esse aluno pode chegar ao fim com mais três, quatro, cinco, seis décimas que um aluno cujo exame foi classificado por um professor que é rigoroso e que está a utilizar os critérios que são obrigatórios, que ele deve seguir. Que é outra coisa que também nos ensinam os estudos internacionais é: vocês não estão aqui para dar a vossa interpretação da resposta, estão aqui para seguir os critérios. Só assim é que os resultados são comparáveis. E reparem, nos estudos internacionais não há nenhuma consequência para os alunos, mas nos exames nacionais, há. Nos exames nacionais, há. Um aluno que possa ter um 15 a Matemática corrigido por um professor, se calhar corrigido por outro professor, podia ter um 17. E estes dois valores de diferença, mesmo que seja duas décimas, é a diferença entre entrar em Engenharia Aeroespacial ou entrar em Engenharia Civil.

Mas diga-me o que acha que correu mal aqui?

Eu acho que várias coisas correram mal. Já escrevi sobre isso. A primeira vez que olhei para o problema, achei que era um amadorismo do agora Educa.

Portanto, o instituto público que coordena este todo o processo.

Que resultou da fusão do IAVE e mais umas quantas direções gerais do Ministério da Educação.

Isso é um problema, ou não? Isso tem sido criticado.

Isso tem sido apontado como um problema, nomeadamente com a extinção das delegações regionais do Conselho Nacional de Exames, que de alguma forma faziam uma pré-filtragem, era o que a Helena dizia. Os exames, por exemplo, do Porto, não vinham de ser digitalizados a Lisboa, eles eram distribuídos no Porto, a professores de outra escola, diferente daquela onde os exames foram feitos. E, portanto, não havia esta troca de impressão. O que é que correu mal? Eu acho que há aqui um grande amadorismo da parte dos serviços do Ministério da Educação, nomeadamente do Educa.

E voluntarismo também.

Ingenuidade do ministro da Educação. Acho que ou então irresponsabilidade, ou então incompetência. Infelizmente, são as três palavras que começam por I. E eu gostava de ser menos crítico, mais simpático, mais solidário com o ministro, que entendo que obviamente esta função não é simples. Eu lembro dos tempos do IAVE, era sempre um estresse terrível na altura dos exames. E na altura, nem sequer havia classificação digital, mas há sempre critérios que têm que ser Corrigidos e alterados. Critérios são as instruções que os professores classificadores recebem na altura do IAVE, agora recebem do Educa, que lhes diz: "Perante uma resposta deste tipo, a classificação deve ser". Só que há sempre alunos que conseguem responder de uma forma que não está prevista nos critérios. E, portanto, um professor, quando deteta essa situação, comunica com o supervisor a dizer: "Olhe, tenho uma resposta que não se encaixa nos critérios, que tipo de classificação eu devo dar a esta resposta?" O supervisor manda para a equipa que está no IAVE e essa sim centralizado, que geralmente passa pelos autores das provas e pelos consultores das provas, e vão ver: "OK, com este tipo de resposta podemos atribuir esta classificação". E portanto, era um processo dinâmico e isso é muito estressante, porque isto está a acontecer em tempo real e os professores têm prazos limitados e têm que lançar as notas e os alunos têm que saber as notas pra poderem concorrer ao ensino superior.

Então, da sua perspectiva, a centralização é um dos pecados?

Não se fosse bem feita. Deixe-me só falar isto. A Helena estava a dizer: "Bom, mas é que já fizemos um ensaio piloto". Não, o IAVE faz avaliações digitais desde 2015. A primeira avaliação digital do IAVE fomos nós, fui eu que fiz, chamava-se Prova de Acesso à Nacionalidade.

12 anos, há 10 anos.

Há 10 anos. Chamava-se Prova de Acesso à Nacionalidade, que entretanto, depois com os governos do António Costa, foi abolida, e foi feita em formato digital.

Que era aquela prova de língua portuguesa que os estrangeiros faziam.

Que os estrangeiros tinham que fazer pra ter acesso à nacionalidade. E, portanto, essa prova foi feita em formato absolutamente digital. Este formato é híbrido, porque temos digitalização de folhas que os alunos continuam a escrever à mão. O formato absolutamente digital é tudo feito no computador. E reparem, mais uma vez, não vou classificar, porque alunos do 12º ano têm familiaridade suficiente com os computadores pra fazer estas provas em formato absolutamente digital.

Esta é a minha questão: por que não foi tudo digital? Quando o ministro diz: "Vamos pro século XXI, não estamos no século XX", o que ele pôs foi: tentou casar o século XX com o século XXI.

E daí eu ter utilizado uma das palavras com I, que é incompetência, que não se percebe. O senhor ministro é professor, foi professor, era professor antes e, portanto, passou pelo período da Covid, passou pela avaliação digital que todos os professores, não só no básico e secundário, mas também no superior, fizeram. E repare-se nisto, eu não consegui encontrar outra expressão mais simpática. Então as crianças do quarto ano a fazer provas moda e a fazer provas de aferição têm que utilizar computador. Crianças que mal sabem escrever à mão, quanto mais em computador. Os nossos jovens de nono ano, ok, já têm mais alguma familiaridade com os computadores, fazem os exames nacionais em computador. Jovens adultos, 17, 18 anos, não podem fazer o exame no computador.

Mas por quê?

Não sei, essa pergunta tem que perguntar ao ministro, porque eu também não tenho resposta.

Ricardo Reyes.

Deixe-me só dizer isso.

O Ricardo quer muito debater.

Eu sei, mas ó Ricardo, deixe-me só dizer isto, porque eu gostava de comentar algo que a Helena disse, que foi: fez-se este ensaio piloto em 2025, com a prova de Filosofia, que também foi digitalizada. E portanto, houve um ano pra corrigir os erros, etc. Se forem ver o que os professores classificadores da prova de Filosofia relataram o ano passado, e se forem ver o que os professores classificadores de Português, de Matemática, de Inglês estão a relatar este ano, é exatamente a mesma coisa.

Parece ser quase uma suposição.

O que foi feito? Nada. E isto tem uma palavra com I, que é absoluta incompetência. E sabem por que eu digo que não foi feito nada? A Helena estava a dizer: "Ah, não sabemos o que foi feito". Não, Helena, não foi feito nada. Sabe por que eu digo isto? Vá ver a página de entrada da plataforma de classificação, o que diz lá? Diz IAVE.

Ah, eu percebi.

Nem sequer um simples ícone da página de entrada, que demora 30 segundos a um programador informático chegar lá e trocar o nome do ficheiro, fizeram. Portanto, o que fizeram no ano? Nada, nem sequer o ícone, nem sequer o símbolo da página de entrada. Repare, os exames nacionais têm lá em cima, no cabeçalho, Educa, e foram impressos. Porque a plataforma, volto a dizer, um programador informático faz isso em 30 segundos, o Ricardo se calhar diz cinco. É trocar o nome do ficheiro onde aparece aquela imagem. Portanto, o que fizeram no ano?

Sim, nós não podemos dizer que não fizeram nada, podem se ter distraído e não fizeram a parte do aspecto.

Por amor de Deus, quer dizer, é aquilo que as pessoas entram. É onde os professores entram.

Sim, é falta de cuidado no mínimo.

Portanto, na sua opinião, João Marujo, o que o ministério deveria ter feito este ano era: o ano passado iniciou com Filosofia, este ano iniciava com mais duas ou três disciplinas e fazia uma transição gradual pra um sistema totalmente digital.

Porque as consequências e os riscos são demasiados elevados pra isto correr mal. Isto não pode correr mal. A minha preocupação, e não tenho filhos, felizmente, a fazer provas nacionais, é se não conseguem recuperar a prova do aluno, porque até agora eu dizia: as provas estão em papel. Infelizmente, o senhor ministro foi com os jornalistas a um armazém em Oeiras, que são as instalações da extinta editorial do Ministério da Educação. Quer dizer, e as pessoas que veem aquilo dizem: "O que é isto? Isto é de um amadorismo, isso parece um armazém de uma zona de catástrofe". Caixotes no chão, envelopes no chão, segurança contra fogo, não tem nada. Os trabalhadores estão a trabalhar no chão, não têm postos de trabalho. Como é que as pessoas têm condições pra fazer aquele trabalho? E, portanto, a minha preocupação quando eu sugeri: só há uma forma de devolver a utilidade ao sistema, que é tornar as provas digitalizadas acessíveis a todos os alunos de forma gratuita, eu quando olho pra aquilo, digo: será que vão conseguir fazer isso? E é isso que me está a preocupar. Estas coisas não podem correr mal. E, portanto, isto ou foi ingenuidade do ministro, que acreditou nas informações que chegaram dos serviços da Educa, da direção do Educa, obviamente, ou irresponsabilidade.

Já não é a primeira vez que o ministro cai, entre aspas.

É enganado pelas informações que vai.

Exato, não queria usar essa palavra tão forte, mas é quase.

Ó Ricardo, eu peço imensas desculpas, só tenho que dizer mais isto. E depois teve uma atitude, que aí sim, Helena, eu acho que é motivo pra demissão. E agora que o senhor primeiro-ministro, Portugal infelizmente já saiu do mundial, se calhar já pode voltar a Portugal e debruçar-se aos problemas reais de Portugal, em vez de se preocupar com o futebol e com o comentário futebolístico Eu acho que, mais uma vez, aqui o senhor ministro esteve muito mal, porque quando começaram a surgir os professores classificadores... Já agora, deixa-me dizer isto: os professores classificadores não são pagos para fazer este trabalho. Eventualmente, depois têm algum benefício em termos de dias de férias das escolas.

Mas faz parte do seu conteúdo funcional.

Faz parte.

Já foram, agora já não são.

Já foram, agora não são. Faz parte, mas então devia fazer parte para todos. Porque uns sim, outros não. E quando os professores classificadores começam a relatar os problemas com a plataforma, dos itens trocados, das seleções mal feitas, das provas trocadas, das faltas de folhas de continuação, o ministro vem dizer que de acordo com a informação dos serviços, esses relatos eram falsos. E portanto, foi chamar as pessoas que estão a fazer o trabalho e que vão resolver o problema, que são os professores classificadores, não é a Eduque ou o IAVE, chamou-os de mentirosos. E isto é muito grave que o ministro da Educação diga que os seus subordinados são pessoas que faltam à verdade. E isto acho que é motivo para ter uma questão política.

Mais isso do que as outras coisas.

Sim, as outras, enfim. Nós sabemos quando estamos a construir algo novo, também não percebo por que estamos a construir algo novo. Isto é feito em N países do mundo inteiro, Bélgica, França, Espanha, Reino Unido. O Reino Unido, por exemplo, tem uma série de vídeos que os alunos podem ver como é que o processo decorre. Entregou a prova, o que acontece à minha prova a seguir? Como é que ela é distribuída pelos centros de digitalização?

Portanto, o Ministério da Educação podia ter copiado um desses sistemas.

Ainda por cima gastou sete milhões de euros. Sete milhões de euros. E temos um armazém com envelopes no chão. Nesses sete milhões de euros não havia dinheiro para comprar umas mesas para as pessoas que estão a fazer este trabalho louco de tentar encontrar provas e não sei o quê, terem cadeiras ergonômicas, mesas de trabalho.

Como as escolas também não tinham quando corrigíamos os exames, não houve uma grande alteração nessa medida.

Ricardo Reis.

Esta é uma área onde por acaso tenho feito alguma coisa, quer por iniciativa de ser professor e, portanto, ter que corrigir exames e sou bastante adepto da digitalização. Portanto, devo dizer que sou dos mais entusiastas adeptos da digitalização. Conheço bastante bem aquilo que o IAVE tem feito desde o tempo do João e em tempos mais recentes, e há de facto um esforço de atualização. Nós muitas vezes criticamos este governo por falta de reformas, isto é uma verdadeira reforma e é uma importante reforma. E arriscar a fazer reformas é uma coisa que nós temos criticado sistematicamente os governos de não fazerem, e este governo está, neste caso, a dar um passo em frente. Pode ter dado um passo maior que a perna, é verdade, e há aqui elementos que indicam esse sentido, mas é uma reforma. E eu devo dizer que é uma reforma pequena. Isto é um contrassenso, porque só estão a digitalizar a correção. Aquilo que a Helena estava a dizer, não estão a ir totalmente para um formato amplamente digital. Eu tenho aqui uma enorme cábula que fiz ontem à minha frente aqui com a comparação dos vários sistemas. Há imensa coisa que se podia tentar fazer, mais do que a digitalização das provas, que é pura e simplesmente transformar aqueles papéis em fotografias, se quiserem, desculpem a publicidade, PDFs, que depois são carregados na nuvem. É uma nuvem que tem que ser segura, por acaso não são PDFs, mas podiam ser. Tem que ser absolutamente segura, anonimizada, não pode circular informação. Portanto, há aqui um conjunto de problemas informáticos que são iminentemente o que está a correr mal. E é aquilo que a Helena e o João estavam a descrever da compatibilização de um sistema do século XX com o sistema do século XXI. Portanto, é tentar meter as duas coisas no mesmo enquadramento e que por motivos de programação, por motivos de inexperiência, e aqui completamente razão de que há aqui alguma incompreensão da forma como isto poderia ter sido feito com mais informação, está a falhar. Se é resolvido até o dia 17 ou não, vamos ver, esperemos que seja. Que outras coisas eles podiam ter feito? Primeiro, os testes todos em computador. Há países que o fazem já. Por exemplo, a Finlândia, que nós não nos cansamos de dizer que é um país altamente inovador nessas matérias. Tudo é feito em computador, as provas são digitadas pelos alunos.

Evitaria os tais erros de leitura.

Evita uma data de coisas, não há erros de leitura.

É uma loucura digitalizar 300 mil provas.

Mas isso é uma coisa que não é única deste país. Se quiserem, há bocado estavam a dizer por que não copiaram alguns países, isto em França é feito desta maneira, por exemplo. Não é uma coisa que copiamos os franceses, se calhar temos que copiar do outro.

Isso é no século XX.

Já agora, em França é centralizado ou é por departamento?

É centralizado. Já agora, posso ler o que acontece, o Baccalauréat é nacional, vai para o Ministério da Educação Nacional em Paris. As provas finais são corretores de outras escolas com cópias anonimizadas e digitalizadas na plataforma Saint-Aubin. E depois há uma harmonização por comissões semelhante àquilo que o João estava a descrever há bocado. Desculpem lá, estou a querer ler a minha cábula.

Fez bem. É informação relevante, claro.

Se quiserem deixo-vos isto.

Napoleão está vivo em França ainda.

Pois e esta tentativa, quer dizer, malvado o homem queria vir para cá. No dia em que falarmos do Dom João VI, temos que falar disto também. Mas já agora, se quiserem, em França o grau de digitalização é médio, a prova é em papel, a digitalização e correção é ecrã, que é exatamente o modelo que nós estamos a implementar agora. Em comparação, por exemplo, com a Finlândia, em que a digitalização é muito alta, 100% digital desde 2019, portanto, não é Covid, é antes do Covid. Tudo é feito em portáteis via o sistema Habit. Temos outros países que têm digitalização muitíssimo baixa, por exemplo, a Alemanha A Alemanha é um caso muito interessante, porque é muito conservadora neste tipo de coisas.

Ainda vão lá chegar todos por fax, que é uma coisa que eles ainda usam.

Não, porque, para já, é descentralizado. Funciona estado a estado e lenda a lenda. Aqui outro tema para outro assunto, se não valia a pena nós adotarmos um sistema mais descentralizado, como aliás, de certa forma existia anteriormente com alguma descentralização. Uma coisa que tem sido discutida é se há um banco de questões ou não há um banco de questões. A Alemanha está a começar a ter um banco de questões, o Aufgabepool, é uma coisa que eles estão a introduzir.

O que é um banco de questões?

Se as questões são as mesmas de um ano para o outro. Ou se os itens são tirados de um banco de questões únicos. Por que isso é importante? Porque harmoniza o grau de dificuldade entre vários anos, permite um estudo de desempenho, harmoniza os critérios de correção, neutraliza um conjunto de fenômenos de subjetividade, portanto, ajuda a normalizar isto. Para terem uma ideia, o IB é completamente baseado num banco de questões. O IB é o International Baccalaureate, que muitas escolas privadas em Portugal adotam como sistema alternativo. Esses não estão a ter problemas, isso é completamente baseado num banco de questões.

Rodrigo.

Desculpe interromper, mas estão a ter problemas. Isso é um ponto, desculpem mudar um pouco o chavão.

Rodrigo Queiroz e Melo, diretor executivo da Associação de Estabelecimentos de Ensino Particular e Cooperativo. Bom dia.

Bom dia a todos. Este ano estamos todos a ter problemas e vai se resolver e apurar por quê, etc. Agora, estes sistemas, o que vemos no resto do mundo é que muitas vezes dão problemas. Este ano Cambridge, a AS Maths, teve que ser repetido o teste, que houve um leak, estão a investigar, mas entretanto, na região do mundo a que Portugal pertence, tiveram que repetir o exame porque houve fraudes que levaram a repetir. O IB também teve problemas que teve que repetir exames. Isso também é de chamar a atenção, temos que perceber o que se passa, por que se passou e ultrapassar, mas quanto mais transparência há e mais digital há, e portanto, mais informação há, mais os problemas se tornam claros.

Evidentes.

Também gostava que nos habituássemos a lidar com fraude, fuga.

Era o que eu ia acrescentar.

A fraude sempre existiu.

Exatamente. Não espere que a fraude só aparece agora.

Agora é mais visível.

É mais visível, apenas.

Mas pode ser menor fraude, pode ser menos fraude.

Aumentou porque é mais visível.

É mais visível ou é mais detetável?

É mais visível, mais detetável e mais fácil de ser feita, sobretudo nos adultos. Ou seja, que é o problema. Há bocado perguntavam porque não digitalizaram tudo. Porque devem estar com medo da fraude, nesta altura. Um miúdo da quarta classe não consegue, desculpem o termo que vou usar, crackear o algoritmo de proteção dos testes. No 12º, 11º, conseguem. Aliás, o da quarta classe, se calhar, consegue com a ajuda dos pais.

Mas será que interessa, então?

Não. Espera aí.

João Marujo, explique.

Eu desafio a crackear os meus testes online. E é certamente, Semfix é em browser Moodle.

Sim, eu uso isso, é o sistema que eu uso. Basta isto. Isto que eu estou a apontar para o telemóvel.

Mas basta isto ou isto?

Ou isto, exatamente.

O vigilante está lá a fazer o quê?

Pois. Ora bem.

Portanto, onde é que falha?

Na vigilância. Nesse tipo de coisas.

No humano.

No humano, exatamente.

E quando os exames eram todos feitos em papel?

O vigilante também falhava.

Exatamente, também falhava. E o telemóvel já existia.

Esta ideia de que isto só nasce com a tecnologia. Estado Novo, Marcelismo. As provas de exame do temível quinto ano venderam-se numa pastelaria do Algarve. Como é que foi? Foi com o fotocopiador. Quem ainda foi classificador de exames em papel, percebe que havia ali momentos, na passagem, era uma coisa aparatosa, a GNR, aquelas coisas todas, mas a pessoa sabe que havia momentos em que a coisa podia falhar. E nós temos tido notícia, ao longo dos anos, de processos. Já houve até processo em tribunal, porque houve professoras que depois passaram as perguntas, venderam-se exatamente as perguntas numa pastelaria do Algarve, em alguns momentos. Houve exames que tiveram de ser anulados. Agora, o que nós temos aqui é uma questão em massa, são 300 mil exames, e temos uma politização de tudo isto, o que torna diferente aquilo que estamos a viver agora. Parece-me que este sistema veio para ficar.

Tem que vir. E já agora, nada do que estamos a dizer agora tem a ver com o problema de agora.

Ricardo, mas só para esclarecer alguns aspetos que disse. Por que a vigilância garantia que não havia ataques informáticos e acesso indevido à prova?

Porque a questão, e o João estava a dizer como é que se crackea os exames dele. É na realização da prova.

É na realização que eu verificava se ele já tinha tido acesso ou não?

Não. E agora não é lá fora, é dentro do telemóvel.

Eu não percebi.

Olhe Helena, o que está a acontecer...

Os telemóveis não podem estar na mesa de exame.

Pois não, mas está bem, agora vá lá dizer isso.

Exatamente, tudo isso tem que ser. Nem os óculos.

Nem óculos.

Nem os auriculares. Com inteligência artificial podem resolver a questão e obter o resultado. A questão é esta.

Hoje até os óculos.

A questão que se coloca na fraude destes assuntos não é crackear o sistema, não é entrar dentro do programa informático e crackear. Isso também é possível, até no Safe Exam Browser. João, eu sou dos maiores defensores do Safe Exam Browser, utilizo bastante. E funciona mal no momento. É pura e simplesmente tirar a fotografia, e aqui tanto faz ser em papel ou não ser em papel. Desculpem, eu não estou aqui a ensinar o criminoso. Mas é tirar a fotografia e resolver em inteligência artificial o teste. É preciso que alguém esteja muito distraído na vigilância para ter deixado entrar outro telemóvel, para ter deixado entrar um qualquer device, qualquer que ele seja. Sendo que, corrija-me se estou enganado, em cada sala há dois vigilantes. Que têm que ser o mais ativos na vigilância. Não podem ter aquilo que nós temos em Portugal, que é a síndrome do espectador, que é assumirmos que estes assuntos são tratados como o estacionamento em segunda fila. Acontece, mas deixa lá. Certo? Rodrigo Queiroz Melo é o diretor executivo da Associação de Estabelecimentos de Ensino Particular e Cooperativo. Já conseguiu perceber o que é que correu mal? Eu acho que este processo é um processo complexo porque junta emoção, política e tecnicidade. Portanto, antes de mais, eu penso que há muita emoção devida às famílias, aos alunos, há todo um esforço. Os exames têm um peso muito grande no acesso ao ensino superior e, portanto, há aqui uma emoção legítima e que torna difícil conversar sobre este processo. Depois há uma dimensão política, que é também natural, os agentes políticos e a sociedade perguntam: há ou não responsabilidades políticas? Portanto, há aqui essa dimensão, que também acaba muitas vezes por ser mais emocional que racional. E depois há a dimensão técnica. Isto é um processo de mudança, independentemente das culpas ou não, é um processo de mudança tecnológica, um processo de mudança tecnológica que se vem, já começou há muito tempo atrás e, portanto, já houve outras experiências em Portugal de tentar digitalizar, etc. E que agora, quando se tentou generalizar e procurar, houve aqui um problema técnico. Há algo que eu não resisto sempre a dizer, que é: como somos um país pequeno, nós misturamos muito os papéis da administração pública com os governos. Isto é um processo técnico e, portanto, precisamos das respostas técnicas para perceber o que é que correu mal. Não sei se é um ministro ou um secretário de Estado que tem que resolver o problema dos exames. É claro que pode haver decisões políticas que-

Nunca teria avançado se um ministro não tivesse dado o seu ok.

Certo, mas há uma decisão política. O que aconteceu no ano passado. Vamos lá ver, a decisão política- O que aconteceu no ano passado.

O que é que aconteceu no ano passado?

No ano passado, o ministro Alexandre resolveu fazer a avaliação digital. Mas há uma dimensão de política que eu temo que se deite fora o bebé com a água do banho, que é: a dimensão, para mim, política aqui é vamos ou não evoluir nos nossos exames. E o evoluir não é só digital, torná-los digital, é também como é que fazemos a classificação, se vamos normalizar notas, se vamos ter itens públicos ou não públicos. Isso é uma decisão que tem uma base técnica, mas que é política. Depois, há decisões que são tomadas pelos políticos, mas que são decisões de gestão. Avançamos ou não? Há condições para avançar? Deixe-me perguntar de já. Isso é uma decisão que o político toma enquanto gestor da coisa pública.

E não pode ser responsabilizado politicamente.

Pode e deve. Estou só a tentar separar, porque eu acho que aqui a base é técnica. O que é que se passou em concreto, porque é que o software falhou? É preciso saber. E com base no que aconteceu este ano, é possível concluir alguma coisa? Com base no que está a acontecer neste momento, não podemos concluir. Quando soubermos o que é que se passou... Não podem sair daqui boas práticas para o futuro? Podem. Vamos lá ver. E podem e devem. E por isso é que eu acho importantíssimo, vamos imaginar num cenário, que eu espero que é o que aconteça pelo país, que dia 17 saem as notas e tal. Isto não nos dispensa de ser exigentes, de conhecer o detalhe técnico do que se passou. Eu acho que o pior que pode acontecer é se isto safarmos e depois continuar. Portanto, é preciso, fundamental, saber o que é que se passou.

O ministro já assumiu o compromisso de fazer uma auditoria para retirar lições, nem é para procurar culpados.

É verdade, como todos os responsáveis políticos, e bem, o fazem, e o passo seguinte é exigir que a auditoria seja em tempo útil e que conheçamos essa auditoria. Vamos lá ver, porque o pior que nos podia acontecer é não aprender com os erros do que estão a passar. Mas gostava mesmo, até pelos pais, pelas famílias, quer dizer, há aqui uma dimensão que é técnica e que só vamos conhecer com o processo terminado. E até lá, estamos um bocadinho a tentar adivinhar, todos temos as nossas teorias, se se poderia ter avançado, se não se deveria ter avançado. Nós vamos saber se o que falhou era algo que tinha que se saber à altura e, portanto, a decisão de avançar foi errada, ou se o que se falhou foi outra coisa que não se sabia na altura e, portanto, a decisão de avançar foi correta. Parece-lhe que se pode confiar no sistema ou não? O sistema é como o Pai Natal, é uma coisa muito abstrata. Eu penso que nós podemos confiar- O que é que transmitem os seus pais? Os seus pais no ensino particular, obviamente. É curioso. No ensino particular e cooperativo, neste momento, as pessoas estão chateadas, mas não há nenhum movimento de fundo de grande revolução, no sentido em que há menos estados de alma. Vamos lá ver, neste momento, nós temos que esperar é se dia 17 saem as notas ou não, e se não saírem, qual é o plano B ou o que é que vai suceder. Portanto, eu acho que esse é um dia bastante importante. Até lá Compreendo a dificuldade dos pais, das famílias, toda a dimensão mais política e emocional, mas tecnicamente isso, neste momento, não adianta. É um bocadinho irrelevante até sabermos. Porque o que se passou podem ter sido coisas fora do domínio na altura, ou podem ter sido coisas que é inacreditável quem tomou a decisão não podia ter tomado esta decisão. Mas vamos ver. Tenho muito medo, de facto, é que não se avance pra digitalização. E porque depois a questão que estava a falar há bocado, fundamental, que é: se isto for tudo digital, vamos imaginar que isto é tudo digital, não estávamos livres do problema de software, não este, mas outro qualquer. Portanto, nós temos que ter um sistema fiável em que as pessoas possam confiar. Isto faz-me lembrar a colocação dos professores há 20 anos. E a pergunta da altura é: é preciso não o fazer, temos que voltar atrás à colocação em papel, porque o sistema não é fiável. No momento em que estávamos no calor do momento, percebe-se que as pessoas tenham. Felizmente, o governo seguinte disse: "Não, senhora, isto não há volta atrás, isto é fundamental." E passados dois ou três anos, não é só hoje, mas dois ou três anos, todas as pessoas estavam a confiar no sistema. Por quê? Porque na altura percebeu-se o que é que tinha corrido mal, corrigiu-se o que tinha corrido mal e tanto quanto é do meu conhecimento, desde então-

Mas o receio é que isto desencadeie uma espécie de retrocesso no processo de digitalização.

E que liberte as forças emocionais contra. Vamos lá ver, isto estando a funcionar, cria uma justiça relativa no sistema, que neste momento, sem dados concretos fiáveis, eu acho que todas as pessoas envolvidas tecnicamente nisto percebem que o sistema que temos tem uma aparência de justiça relativa, porque como é até 200 pontos e são testes escritos, exame, isto é muito justo, quem é que entrou e não entrou para o ensino superior, eu diria que depende. Porque se eu apanhei um classificador que achou que eu até tinha estudado, mas não tinha tido muito jeito, vou ter melhor. Se eu apanhar um classificador que cumpre as regras exatamente como elas estão escritas, vou ter pior nota. Isto é tudo muito opaco.

Uma das coisas que existe é que quando os alunos pedem recurso, é claro que as pessoas com as dificuldades que há para pedir recurso, até agora, porque a pessoa não tem acesso à sua prova. Uma das coisas que se verifica é geralmente, às vezes, até uma alteração significativa no resultado, o que leva a pensar: bem, então e os outros todos que pedissem recurso. Portanto, eu não estou a querer dizer que o sistema está viciado. Estou a querer dizer que tem muito espaço pra subjetividade.

Olha, Helena, e esse é um dos subprodutos desta crise ótimos, que novamente também espero que não volte pra trás, que é esta promessa que foi feita, de as provas serem tornadas acessíveis a todos os seus alunos e que isso deve ser pra sempre.

Isso é um resultado direto da digitalização, ou seja, é impossível fazer isto sem ser com digitalização. Era preciso pagar alguém pra fazer aquele trabalho e por isso é que este trabalho era pago antes e agora não é, não precisa de ser pago.

Nós vamos ter mais níveis de transparência no sistema.

Sim, o saltar pra outra margem é que tem esta turbulência que pode acabar por fazer vítimas políticas. E esse é o grande-

A minha maior questão é percebermos o que é que correu tecnicamente mal, porque vítimas técnicas, por tecnicamente ser incorreto, todo o meu apoio. Vítimas técnicas, por motivações políticas é que eu acho que não pode ser. Vamos lá ver, se não tiver havido culpa técnica, não sei se houve ou não, se não tiver havido culpa técnica, quem está tecnicamente responsável está muito melhor posicionado para o futuro, porque aprendemos todos é com os erros, é que as coisas correm mal.

Sim, mas aqui a questão é que o ministro, mesmo nas entrevistas que ele deu, o que ele nos diz é: ele tomou a decisão de avançar com base em informação de que existiam condições para avançar sem risco. É aí que vamos ter à questão que coloca, que é qual é que é a decisão política que é baseada em decisões técnicas.

E o que é que correu mal?

Como as grávidas e a ministra da Saúde. Ele confiou nos serviços. E aqui a questão é: já não é a primeira vez que ele confia nos serviços e acaba por ser apanhado por causa, nós não podemos dizer às vezes por causa, porque os próprios serviços também pode não ter havido aqui qualquer tipo de desonestidade. Todos acreditaram que isto podia correr bem.

Olha, Helena, isso é que é fundamental, é percebermos com detalhe o que é que se passou. E depois, em função disso, tomar as decisões políticas, tomar as decisões em relação aos serviços, etc. Mas, esperançosamente, depois de resolvido e os alunos no superior, pra que essa decisão seja uma decisão o mais racional possível e não baseada na emoção do momento, que neste momento é grande, é compreensível, mas não nos ajuda a resolver o problema imediato.

Com o que nós conhecemos do sistema e que vocês conhecem, conseguem colocar uma probabilidade, isto vai correr bem, isto vai correr mal?

Não, isto tem que correr bem, não pode correr mal, porque a alternativa é repetir os exames nacionais todos em papel.

Não, ou classificar os exames existentes.

Não, é distribuir os existentes.

É distribuir e voltar.

Esse era um drama.

Mas, Rodrigo, há problemas com a digitalização, há problemas com as folhas de continuação.

Sim, mas tens o início, tens a base. Aquilo que foi digitalizado. Agora, aquilo que já é público.

Mas eu disse isso, acho que tu ainda não estavas. Mas eu depois de ter visto as fotografias Se calhar também sabes onde é o armazém. Do armazém onde estão os exames, eu fiquei ainda mais preocupado.

Mas isso é que, novamente, se não for possível isso, mas isso nem me passa pela cabeça, que pós-digitalização, a prova não tenha sido junta e não esteja classificada e as declarações públicas vão nesse sentido. Para mim o plano B é agarrar naquele tubo, distribuir e classificar.

As salas de contagem de voto nas eleições também não têm bom aspeto. Há ali alguma coisa de caótico, mas a verdade é que em Portugal nós não temos nunca dúvidas sobre o resultado eleitoral.

É um papel, não é? Como disse o João Moura, com o exame pode ter várias folhas dispostas.

Não, pode não ser só um papel.

Sim, nas autárquicas são três.

E muitas vezes há espaços que têm ali um lado caótico.

E as folhas de exame são mais três.

E é uma cruz.

Depende. O que o aluno precisou para resolver.

E esse é que é o meu problema, Rodrigo, porque é assim, se no processo de digitalização não se consegue alinhar as folhas de continuação, é porque as folhas de continuação não foram digitalizadas na ordem correta, é porque a plataforma não está a ler bem os códigos e está a atribuir folhas de continuação a sítios diferentes.

Do que eu li e a parte mais técnica das declarações públicas, tanto quanto eu consigo perceber aquilo que foi já publicado, houve um problema qualquer na digitalização que atrasou. Aí só uma questão, só porque pela graça dos agrafos. A questão dos agrafos não é o QR Code. A questão dos agrafos é diferente. Aquilo são folhas, são conjuntos, e que os alunos responderam e o caderno depois foi empacotado, etc. E chega a um sítio onde há pessoas manualmente a separar.

A desagrafar.

Não, a separar pelo picotados, digamos assim, para facilitar, para aquilo poder ser digitalizado. Qual é a questão? Ao contrário do que eram as instruções, nalguns casos, não faço ideia se muitos, mas nalguns casos, para não separarem as folhas foram agrafadas. É claro que o agrafo não estraga o QR Code, o problema não é esse. O problema é que os cálculos são feitos para eu separar cada, demora dois minutos, são X mil provas, eu preciso de X pessoas para fazer essa tarefa. Quando eu de repente tenho um agrafo no QR Code, eu tenho que tirar o agrafo com cuidado, porque se eu arranco o agrafo é que o QR Code morre. Portanto, demorou mais tempo a fazer esse processo, mas isso ultrapassado, digitalizado.

Mas estavas a falar das declarações públicas e tu lembras qual foi a declaração pública que foi feita? Que o problema era o agrafo em cima do QR Code. Primeiro, os QR Codes estão no canto superior direito da folha e no canto inferior direito. Eu acho que 99,9999% das pessoas não agrafa papel no canto superior direito. A menos que o faça de propósito.

Eu estou só a dizer que a questão do QR Code não é o agrafo tal, é o tempo que demora, mas depois foi digitalizado.

O Ricardo acha que foi propositado.

Não, não acho. Estamos a dizer que só agrafa se for de propósito. Não disse que foi feito de propósito. Quando é feito, é feito de propósito. Depois digitalizadas, as provas estão juntas. Onde é que aparentemente, pelas declarações públicas, haverá problema? Há um software que lê o PDF. Não é um PDF, mas é uma imagem. Que agarra imagens e supostamente depois as atira para uma plataforma que põe no sítio onde deviam estar.

Em servidores próprios do ministério, um conjunto de coisas que também tem que garantir a proteção de dados.

Isso é que depois tirou tudo do sítio, aparentemente. Penso eu que é seguro assumir como bom que depois de digitalizadas, as provas saíram do lado lá todas pela ordem certa.

Eu também espero.

Ai não, se não saíram...

Isso então vai ser difícil reconstituir depois os exames.

Não, isso é impossível.

Quem está a dirigir isso é o Educa, quem está a liderar todo este processo. Nós às vezes também temos de pensar nos incentivos. O Educa tem todo o incentivo para que isto corra bem.

Claro.

Se isto não correr bem, são as pessoas que estão envolvidas e que garantiram ao ministro que isto funcionava. Temos de partir do princípio que há aqui um fortíssimo incentivo para que as coisas corram bem. Eu continuo com uma grande perplexidade, e como não estava aqui na primeira parte, para partilhar também conosco a razão: por que isto não se fez tudo digital? Por que se tentou fazer aquela transição digital clássica que dá muito mau resultado, que é sempre pôr a nova tecnologia em cima da tecnologia existente? Nós já vimos isto nas empresas desde o início dos computadores.

Digitalizar papel em vez do processo, não é?

A minha leitura é que foi só política. Política não, é política do governo. Se nós olharmos para as declarações públicas, dizia-se: a escola pública não tem condições para fazer isto. Não temos computadores, não temos rede.

E não tem.

Eu não sei se tem ou não, estou só a dizer. A questão é não haver ou dizer-se que não há infraestrutura para isso poder ser logo desde o início em digital. Eu aí não tenho dados, não faço ideia se é ou não tem.

Mas acabaram dizer que isto acontece nos outros graus de aplicação.

Onde também houve falhas de rede e de segurança, etc. Repara, eu ouvi-vos de manhã também a dizer que isto funciona muito bem nos impostos. Todos nós conhecemos dias em que os impostos vão abaixo e não funcionam. Portanto, há erros informáticos.

O exemplo do home banking.

Microfone, Helena.

O home banking, exatamente.

Sim.

Mais uma vez, Helena, acho que há ali um problema de comunicação e de aconselhamento do senhor ministro, porque mais uma vez é um péssimo exemplo. Porque ele diz: "No home banking também às vezes não está a funcionar, então eu pego no QR Code." Já tentou pagar as contas de supermercado com o smartphone? Aquilo basta pôr assim, lê um texto o QR Code e apanha a mensagem. Sim.

Quem é que está a aconselhar o senhor ministro para fazer este tipo de afirmações?

Ele falou do "home banking" porque esta não era para a manutenção da plataforma.

O problema que os professores classificadores estão a reportar não é a plataforma estar offline e estar em manutenção. O problema que os professores estão a reportar, e é todos os dias, e eu tenho aqui à frente uma página Facebook de um professor que fez um apanhado, continua a ser items trocados, continua a ser items redistribuídos que já foram classificados por outros professores, continua a ser folhas de continuação em falta e isto aparentemente não está a ser resolvido, porque foi a primeira série de problemas reportados no primeiro dia em que os items começaram a ser distribuídos. E estamos no dia sete, estes reportes são de ontem, no dia sete continuam os professores classificadores a reportar exatamente os mesmos problemas.

E há um problema que não falámos aqui, que pode ser um problema, gostava também de vos ouvir sobre isso, que é o excesso de questões e de itens que estão a ser entregues aos professores. Estou a ler aqui um relato, por exemplo, de uma professora a quem foram atribuídas hoje mais 27 respostas para além das 140 que não conseguiu classificar. Isto pode ser um problema ou não?

Eu posso explicar porque isso é assim. Claro que pode ser um problema. Acho que é a plataforma, mais uma vez também não se entende porque esse secretismo todo. A plataforma que faz a distribuição dos itens chama-se Sistema de Classificação Online do IAVE, que na verdade fui eu que iniciei, depois saí por outros motivos. E na altura discutimos muito isso e eu não estava de acordo, o que a plataforma faz é ver quem são os professores mais eficientes a corrigir itens. E quando esses professores já não têm itens para corrigir, diz: "Há aqui um professor que tinha 200 itens para corrigir, que ainda só corrigiu 10, vamos lá distribuir", que é o que está a acontecer.

O incentivo ao contrário. Premiar a produtividade.

Foi exatamente o meu argumento contra e foi por isso que depois as coisas não correram bem. Um dos motivos. O que a plataforma está a fazer, eu entendo a questão de gestão, que é: vamos classificar os itens o mais rápido possível, mas mais uma vez está a fazer mal, porque em vez de premiir os itens que não estão classificados...

Trabalha mais quem é mais produtivo.

Eu sei, foi por isso que eu achei que era uma péssima solução.

No Ministério da Educação, esse é o princípio base. Nas escolas, trabalha mais quem trabalha mais.

O que é que havia o computador de mudar.

Mas isso desde que se entra na porta da escola, que já se sabe, trabalha mais quem trabalha mais.

E agora é aplicado nos programas informáticos.

Ricardo, se faz o favor.

A vantagem de corrigir em itens é uma de eficiência primeiro, essencialmente eficiência, e daquilo que estávamos a discutir há bocado, na primeira parte, de neutralidade e de objetividade na avaliação. E portanto, esses 27 a mais, que se calhar é, como se diz em inglês, "no good deed goes unpunished", nenhuma boa ação sai sempre sem castigo, mas se fizermos a conta de quantos itens é que há em cada teste, e geralmente são uns 20, 30 itens, se essa pessoa, esse exemplo que estava a dar da classificadora, recebesse nove provas para corrigir, estava a receber os mesmos 27 itens e ainda para mais são todos muito variados, muito mais ineficientes na sua correção. Uma das coisas que me surpreende neste processo é que tanto quanto eu percebi, aquilo que está a acontecer é que há menos classificadores do que aconteceria se os exames fossem corrigidos à maneira antiga. Certo, mas o que é que te surpreende? Isso é bom.

São menos necessários.

Não todas as surpresas são más.

A propósito do número de itens, deixem-me ler aqui este comentário: "Estou a classificar respostas de dois itens da prova de Matemática A. Inicialmente recebi 50 respostas do primeiro item e 99 do segundo item. Hoje, atribuíram mais 89 do primeiro e 55 do segundo. Quando acabará esta falta de respeito pelos classificadores?" Bom, claro que os classificadores sabem que têm este tempo e têm que gerir o seu tempo de forma a dizer: "Eu no dia 10 tenho que conseguir ter isto tudo pronto". Mas continuam a aparecer itens, e eu já expliquei qual é o racional da plataforma ou qual é o racional do Educa.

Eu aqui estou como o João e os outros.

Quanto mais trabalha, mais tem que trabalhar.

Deixem-me partilhar aqui uma história em que o problema era semelhante. Portanto, voltamos ao problema dos professores e da classificação. Isto significou que tivemos números redondos, 40 mil recursos. Isto era em papel, isto é da altura do papel em Portugal.

Isto foi quando?

Isto foi em 2005, 2006. E as pessoas têm direito a recursos. Qual foi o problema? De repente, a direção-geral, os serviços jurídicos tinham que resolver aquilo tudo. E como é que se resolve uma coisa em massa? Felizmente, foi um diretor-geral, que houve uma crise, saiu um, veio um novo, que como bom gestor, percebeu isto: os incentivos não podem ser ao contrário, quem mais trabalha sai mais. Portanto, o que é que ele fez? Ele disse à equipa jurídica: "Isto é assim, para nós conseguirmos fazer isto em tempo útil, cada um de vocês tem que ver, imaginem, 20 processos por dia". "Isso é muita!" "Tem que ver, é a única hipótese, não há outra hipótese. E isto é possível, porque eu fui ver e há duas pessoas que até fazem um bocadinho mais. Eu todos os dias vou ver quantos processos é que cada um fez e vou pôr à entrada da DGRE um placar com o número de cada um." Ok, então é assim, eu vou pôr isto no gabinete jurídico. Se cumprirem, fica-se só cá. Se não cumprirem, eu garanto-vos que eu vou pôr à porta. Olhe, viram-se os processos todos, cada um viu a sua cota diária.

Não sei. E ele não foi morto nem nada?

Não. E pôs aquilo a funcionar um brinco. E isto que o João estava a dizer, a tecnologia permite-nos criar incentivos, e aí a administração da educação tem que mudar muito e tem que se virar para os incentivos. Eu, professor classificador, tenho o direito de me organizar. Eu tenho que ter o direito de ver. Eu vou ver 200 itens. Eu não vou dormir durante dois dias, resolvo isto e fica o trabalho. Ou então não, eu só quero ver 10 por dia. Não é possível uma plataforma em que quanto eu mais trabalho, mais eu tenho, porque o incentivo não vale a pena.

E depois há uma coisa que é-

Mas isso é para a melhoria da plataforma.

Os pedidos para os professores corrigirem itens estão a chegar a desoras, não é? Às oito da noite, por exemplo.

Mas atenção, isto não pode ser a regra, isto é um sistema que estamos a viver.

Pode chegar como um e-mail, pode chegar a qualquer hora e tu podes não ver.

Sim, entendo.

Não é?

E essa trepada não vale como regra. Portanto, neste momento, estamos numa situação de crise em que esperamos que se resolva.

E também temos que saber a dimensão destes problemas. Reparem uma coisa, isto aqui é como as grávidas do SNS, com enorme respeito pela natalidade, que é nós não sabemos que percentagem é que está a correr mal.

As declarações de ontem deram esperanças, se a gente der como bom. Estava já reunido 70 ou 80.

Sim, mas não precisa. Atenção. Falta distribuir 20% das respostas.

Falta distribuir, não sei se com esse conceito de falta distribuir 20%, o ministro também incluía aqueles que estão com problemas. Porque há aqui uma outra coisa em relação a esta crise, que é uma crise política evidente, mas é uma crise, neste momento, político-midiática. Nós sabemos, os sindicatos do setor são muito vocais. Há anos que vivem de fazer declarações. E os jornalistas também vivem, muitas vezes, nessa bolha sindical. Porque produz declarações e nós precisamos de notícias. O próprio ministro também tem sido vocal. Agora, neste momento, ao contrário do que acontece na saúde, que cada um de nós quando alguém chega com um ataque de coração a um hospital e não é atendido no momento, sentimos o nosso coração naquele momento, isto neste momento, na minha opinião, ainda não está a ser vivido pelas pessoas como uma crise. Ou seja, se no dia 17 Fernando Alexandre conseguir pôr as notas cá fora, eu acho que ele passou esta crise, porque o país ainda não a vive como crise. Porque há futebol, porque há praia, porque há sol, porque as pessoas estão na rua, por várias razões. Portanto, eu acho que há aqui uma dissociação entre aquilo que para nós já é vivido como uma crise e aquilo, agora é 17, porque se no dia 17, nós não podemos achar que as coisas têm todas o mesmo valor, independentemente do tempo em que chegam cá fora. Lembrem-se daquela notícia das indenizações da TAP. Aquilo andou cá fora, foi notícia no Expresso, ninguém ligou nenhuma. Houve ali um período antes do Natal em que o Correio da Manhã voltou a pôr aquilo que já era público, notório.

Mas era público no último parágrafo de um texto do Expresso.

No Expresso, pronto. E é aí essa diferença que existe. Ou seja, o que eu acho é que nós falaremos disto de outra forma, completamente diferente, no dia 18 de julho. O dia 18 de julho é que parece ser determinante.

Há aqui uma questão também que me parece bastante importante, que é um bocadinho mais estrutural e abstrata, que é: o ministro Fernando Alexandre é verdadeiramente uma espécie de estrela deste governo, no bom sentido, e tem sido um ministro que tem conseguido fazer coisas, tem tido a coragem de fazer coisas. Ele foi o primeiro a avançar para uma profunda reestruturação do ministério. Este governo, aliás, prometeu-nos que outros viriam, mas uma reestruturação tão profunda como a que ele fez, em que reduziu 18 para sete entidades dentro do ministério, não estou a ver que mais algum ministério o tenha feito, e estamos a trabalhar com o ministério. Eu ontem fui ver o emprego público, eu nem tinha noção. Aquilo é quase 30% dos quase 700 mil funcionários públicos que existem. É o GER, não são só professores.

É o maior empregador do país.

É o maior empregador do país e aquilo atinge valores da ordem dos 250 mil os funcionários, e nós estamos a falar de 700 e tal mil funcionários públicos, administração pública. Portanto, de facto, mexer numa estrutura daquelas, com décadas, é corajoso e nós não podemos ao mesmo tempo dizer que não há reformas e não há coragem política, e quando há coragem política, também simultaneamente cairmos em cima dos ministros, porque senão o incentivo é que nós dizemos que já está lá, que é não te mexas que não te acontece nada. Como costumava dizer um colega meu, falou, entalou, não falou, ficou embiçocado e não acontece nada. Depois tivemos os exames, lançou as provas moda, que também correu bem. Provavelmente precipitou-se agora.

Afina de correr bem.

Tem estado a correr bem.

Não, não tem. As provas modelo eram supostas ser devolvidas à escola no mesmo ano, são devolvidas um ano a seguir.

E qual é o impacto que isto tem?

Nenhum. É por isso que na sua opinião está a correr bem. Porque se tivesse impacto como têm os exames nacionais, ninguém estava a dizer que estava a correr bem.

Ou seja, as escolas estão às cegas, é isso?

É.

Não sabem qual é que foi o desempenho dos seus alunos.

O objetivo das provas moda era obviamente devolver informação às escolas para que os professores pudessem melhorar os processos de ensino e aprendizagem, os miúdos pudessem melhorar. Se os resultados chegam à escola um ano depois das provas terem sido feitas, provavelmente os miúdos já nem têm aqueles professores.

Mas se isso está tudo digitalizado, por que leva um ano a chegar?

Mas a Helena é que disse que estava a correr bem, eu só estou a contrapor. Está a correr bem porque é uma coisa que

Publicamente está a correr bem.

Low cost que não tem consequências.

Não falou, não entalou. Exatamente.

Como aquilo não tem nenhuma consequência, ninguém presta atenção.

E os sindicatos também não falam sobre o assunto. Eu continuo a achar que o problema não é político, o problema é claramente técnico. Sim, mas para lá disso, há aqui uma questão que a mim me parece ser muito importante e que tem a ver com o jornalismo. Nós não temos notícias sobre educação. Nós temos notícias sobre declarações que sindicatos, o Ministério da Educação, a sua vida noticiosa restringe-se praticamente à vida dos seus funcionários e às aspirações, contradições, arelias e aspirações dos seus muitos funcionários e diversos funcionários. É como a estrutura apoderou-se.

É o ministério dos professores.

Havia um artigo a dizer isso. É como se fosse os exames acabam por obrigar a olhar para o outro lado. E as provas, muitas vezes, ou por causa dos resultados, mas nós sabemos, temos feito aqui vários programas sobre os resultados das provas, mas somos quase uma agulhinha num palheiro, porque depois tudo aquilo é muito técnico.

Por falar nisso, alguém já viu os resultados das provas do ano passado?

Não.

Onde é que eles andam?

Também ainda não saíram. Os rankings.

Está tudo a correr bem, não é?

Os rankings têm muitos defeitos. Estamos em julho, onde é que eles andam?

Tradicionalmente quando é que são conhecidos?

Mas a sua perspectiva é que não é um bom ministro, é isso?

Um mês antes de acabarem os exames.

Não, o João, por exemplo, a sua perspectiva é que não é um bom ministro e não está a correr bem.

Eu acho que o problema não é político, é claramente técnico. E, portanto, onde eu acho que eventualmente o senhor ministro está a falhar é nos assessores que o rodeiam e na informação que ele recebe dos serviços e que ele assume como verdadeira. E eu acho que o único motivo que ele teria para se demitir enquanto pessoa íntegra, que eu acho que ele é, foi quando foi pôr em causa as declarações que os professores classificadores estavam a pôr relativamente aos problemas da plataforma e que ele disse: "De acordo com a informação dos serviços, todas essas declarações são falsas." Isto é inadmissível para uma pessoa que ocupa um cargo político. Ou ele confia cegamente nos serviços e pode confiar cegamente nos serviços, qual foi a declaração que os professores classificadores fizeram sobre os problemas da plataforma que não foi real? Como é que ele é ingénuo a este ponto?

Para complementar o que disse a Helena Matos.

Mas a informação de quem? Dos professores classificadores? As pessoas que estão a correr na plataforma.

Não concretizam. Isto não é um drama ainda para os pais e para os alunos, porque eles ainda não sabem a quem é que isto está a acontecer, mas já é um drama para os classificadores. E o ponto é esse. Ou seja, é como se na saúde isto não fosse um drama, volto às grávidas, para as grávidas, mas é para os médicos. E para as pessoas que estão envolvidas, isso sim, já é um drama. O meu ponto é este, e se calhar o ministro podia era ter dito sobre a dimensão do problema. Nós não sabemos ainda qual é a dimensão do problema, mas para quem está a classificar e tem um problema com isto, isto é um problema sério e grande. Aquilo que o João descreveu de eu não ter a certeza se estou a classificar a prova do aluno certo. Neste momento é um drama para o classificador e, portanto, eu não sei o que estou a fazer, se é o Artur, se é a Maria. Nós nem sequer temos a certeza que isso está já a acontecer. Isso o quê? Não sei se é a Maria, se é o António. Não, eles não sabem se é a Maria, se é o João.

Mas não sabem se não é a prova do mesmo aluno.

Não, eles sabem que estão a ver itens de alunos todos diferentes. O problema reportado, e que é real, é que quando há a questão da continuação e voltamos ao PDF, faz uma fotografia e tal, as fotografias, o software está a pôr no sítio errado, portanto, eu tenho a primeira parte de um aluno qualquer que eu não sei quem é, mas a segunda parte já é de outro aluno qualquer que eu não sei quem é que é. Este match das fotografias no sítio certo. Mas isso está a acontecer.

Está.

Esse é um drama para um classificador.

A primeira parte de uma resposta é de um aluno e a segunda parte é de outro aluno.

É isso que eu queria dizer com o Artur e a Maria. A pergunta que estava a fazer há bocadinho é da confiança no sistema, que eu defleti, mas voltando a ela. Quer dizer, há aqui dois níveis de confiança que, novamente, temos que tratar de forma diferente do ponto de vista analítico, que é: uma coisa é uma confiança que não está a correr bem, que é dos classificadores, dos ausentes do sistema, no sistema. Eu, classificador, chego lá, depois aquilo mudou, não tenho informação e eu não estou com confiança no sistema. Isso acho que é pacífico dizer.

E é dramático.

Outra coisa diferente é a confiança do país e dos pais no sistema. E eu aí estou a dizer, ainda não acho que as pessoas tenham perdido a confiança. Isso dia 17, quando saírem as notas, se isso suceder, essa confiança pode estar em causa.

No dia 18, 19 e 20, eles virem a prova e bater certo com a prova do outro.

Isso aí, depois vão de férias, uns entram, outros não. Há um desafio informático ainda maior, que é voltar a construir o puzzle. Não, Helena, esse não, porque repara, o original... Não, mas o original corrigido.

Vão ver a prova digitalizada. Portanto, quando as fotografias são montadas e a fotografia do aluno A é adicionada à fotografia do aluno B.

Não, mas nem me passa pela cabeça que vão fazer isso. Eles não vão montar a fotografia, acho eu. O que vão disponibilizar aos alunos é o PDF original da sua prova. Mas como é que assim veem como é que foi classificado?

Têm as classificações.

Atenção, no item um tiveste X, no item dois tiveste X.

O João Marujo saberá mais.

Os alunos têm que ter acesso àquilo que os classificadores viram

Foi isso que o ministro disse.

Não, ele disse que vai disponibilizar as provas digitalizadas.

Sim, eu acho que o que vai dar é o PDF. E atenção, vai ter a classificação para cada item.

Mas então pronto, aí vai montar as imagens.

Não! O item um do aluno 5303 está numa base de dados com um cinco ou um seis, o que seja. Eu vou ter o PDF da minha prova original, não tem nenhum problema de fotografia, e a base de dados a dizer: "Tu no item um tiveste cinco, no item dois tiveste três."

De qualquer forma, tem de fazer um casamento.

Não, mas isso é outro casamento, Helena. Não é de imagens.

Exatamente. Há uma imagem da prova toda.

É mais fácil remontar. Não é remontar a imagem.

Não é remontar imagens, é remontar classificações.

É mais fácil.

Que é mais fácil, porque as classificações, essas sim, são todas digitais. Não esperem que nesta altura os classificadores estejam a escrever num ecrã e a pôr bolas à volta das imagens. Isso não está a acontecer. A prova não está a ser classificada como era no nosso tempo, no século XX, em que se vinha lá muito bem com uma caneta. E ele não está a fazer isso com uma pen no monitor. É uma prova digital.

E não é preciso remontar. É só lá pôr a classificação.

Já há dúvidas a mais, não vale a pena acrescentar mais dúvidas aqui ao que está acontecendo. E há uma dúvida essencial, que é: nós não sabemos ainda o que vai ser feito. Estamos aqui a especular e a achar que vai ser isto ou aquilo. Vamos esperar que seja bem feito, uma vez que não é preciso remontar.

Há uma coisa engraçada nos exames. Não sei se é IB, se é Cambridge, mas pouco importa. Os alunos têm acesso ao exame, mas têm acesso à classificação de cada item. Não têm acesso ao exame classificado pelo classificador. Não têm o feedback. Porque mesmo na classificação, eu, classificador, posso pôr questões ao meu supervisor. Todo esse processo que depois desemboca numa nota, não há porque ser público.

A outra questão que se tem levantado é: não há um help desk?

Para quem? Para os classificadores?

Sim.

Claro que há os fóruns da plataforma que estão soterrados de problemas técnicos. Que releva aquilo que o João estava a dizer, que isso já é um drama para os classificadores. Desculpem lá o tom um bocado elogioso, mas tem que ser, estão a fazer um trabalho admirável. O João há bocado disse isto e eu revejo-me bastante nisso: é quem vai resolver o problema nesta altura. Claramente, estão a cair em cima dos classificadores a função de resolver o problema.

É preciso dizê-lo, corrigir exames, classificar exames. Eu estou a falar só do tempo da caneta e papel, é um momento de grande solidão e angústia. Ao contrário do que acontece, uma pessoa faz exames, até orais, eu gostava imenso de fazer exames orais, ou fazer os testes. Mas é um momento de solidão, porque a pessoa debate-se com dúvidas mesmo, não é se aquilo está certo ou errado.

Este sistema melhora isso dramaticamente.

Este sistema melhora isso.

Não estou a responder.

Mas o sistema.

Não, eu comecei por dizer isso. Eu acho que é esta discussão, aquilo que estávamos a dizer há bocado, ao desumanizar, proteges o classificador. E o aluno. Proteges toda a gente. É um ótimo, aquilo que nós chamamos agora de ótimo disparate. Estamos todos melhores.

A desumanidade protege-nos. Já viu, Ricardo?

Ou não. Nós estamos todos a dizer isso, e eu também, numa lógica de que eu quero que estes itens sejam o mais neutros e tecnicamente bem classificados para que o acesso ao superior seja justo. Agora, cuidado, que muitos destes exames não são para acesso ao superior, são para término do secundário. E eu tenho ouvido, e com razão, pessoas a dizer: "Não acho justo tudo isso que me estás a dizer, porque eu acho mais justo que o meu filho, que tem dificuldades, seja uma pessoa a classificar o teste todo para perceber se o miúdo teve azar e aquilo ele não percebeu bem, mas no fundo, faz sentido que ele termine ou não."

É uma abordagem holística.

Não, discordo completamente. Isso é um risco gigante para o classificador.

Não pode ser de modo algum. Isso tem um espaço, que é o espaço aula e avaliação na escola.

Mas para isso era separada a função de exame.

Até porque aí chegamos a uma outra coisa que é, em princípio, quem está a corrigir um exame não pode saber, não pode imaginar, não pode personificar a pessoa que fez aquele exame.

Senão era muito fácil, púnhamos os professores a corrigir os exames dos próprios alunos.

Que é uma solução usada em muitos países, entre passagem. Mas o meu ponto é: cuidado que estes exames têm dois efeitos. Se tivessem só um, era fácil resolver o problema.

Em países como, por exemplo, a Alemanha, há uma dupla correção. O professor da turma corrige os exames, administra e vigia os exames, já agora. Tem alguns riscos também, mas na Alemanha, porventura, menos. E depois há um segundo corretor, interno ou de outra escola. E depois há outra coisa, que não falamos aqui, mas que é bastante interessante, que é a quantidade de países que optam por soluções de provas orais, como antigamente se fazia. Países europeus?

Países europeus, por exemplo, a Alemanha, a Áustria, a própria França. Isso nós não imitamos, porque é dificílimo fazer provas orais neutras. E cuidado nesses países, temos que estar cientes. Estás a falar Áustria e Alemanha, países que segregam os alunos desde muito cedo. A oral é feita a alunos todos do mesmo estrato socioeconômico.

Sim, ou pelo menos com as mesmas ambições de carreira. Nós temos um sistema, mas em França, não.

Ó Ricardo, mas essas orais são...?

Mas em França entram todos e só se falam no primeiro ano da faculdade. Atenção que os detalhes de repente matam ou não uma proposta.

Sim, embora o exame tem dupla função. Na Bélgica, por exemplo, não tem. Dupla função é isto servir para concluir o secundário ou de acesso às universidades. Já agora, também uma nota para as famílias: as universidades estão atentas a isto, estão a responder a isto Posso falar pela minha. Nós mudamos as datas e os prazos todos para acomodar. E é importante saberem disso.

Já a pensar que dia 18 pode não correr bem?

Não, já a pensar que há prazos que é preciso. O sistema de acesso à universidade é depois de saírem as notas, os candidatos têm que ir ao estabelecimento de ensino pedir a ficha ENS, a ficha dos exames nacionais do ensino secundário, e depois é isso que valida que aquelas notas são verdadeiras e entregá-las na candidatura ou nas universidades, no caso da Católica, entregam na universidade. E esses prazos nós estamos a acomodar e a ajustar em função, seja do dia 17 ou depois. Mas neste momento é para o dia 17.

Isso vai ser fácil também nas universidades públicas. Eu mesmo que esteja a falar da Católica.

No meu caso, sim, desculpem, não quero vender aqui o meu peixe, mas se quiserem está lá o site e tudo. Mas o processo de candidatura às universidades estatais, portanto, às universidades públicas estatais, é feito numa candidatura única, não é feito numa instituição, mas a todas.

E pode não ser necessário reajustar os prazos.

Mas o ajustamento é, diria eu, quase que automático. As pessoas podem estar descansadas em relação a estes procedimentos, que se correr razoavelmente bem, dentro do mal que já correu, isto é facilmente acomodável. Não é o fim do mundo. E dar também esta nota de serenidade às famílias, por pior que esta parte esteja a correr, se isto correr bem a partir de agora, é facilmente acomodável.

No caso da candidatura à universidade pública, é feita online, pode ser feita em qualquer parte do mundo, não vai estragar as férias às famílias.

Eu não ia pelas férias, mas sobretudo não estraga a candidatura.

É importante.

Mas nós podíamos ter estes resultados cá fora em dois dias.

Sim.

Era pôr inteligência artificial a auxiliar no processo de classificação. E aí o Ricardo teria muito pra dizer.

Sim, mas não é o foco.

Mas em exames internacionais, o Cambridge já tem IA a auxiliar no processo de classificação.

Eles não estão a usar IA? Eu imagino que tenham.

Não estão e não é aconselhável que usem neste contexto.

Não, eu não estou a dizer pra corrigir.

Neste contexto, não é de maneira nenhuma.

Eu estou a dizer pra corrigir.

Mas neste contexto, 2026 é um contexto em que já...

Pra já, 2026, a inteligência artificial ainda não permite. Ou seja, isto obrigaria a mudar o tipo de questões que temos.

Mas as questões de escolha múltipla, isso é fácil.

Isso é a inteligência artificial.

A inteligência da lógica.

Eu ia dizer estupidez artificial, porque aquilo nem precisa de grande inteligência. É ver se está lá, exceto, como dizem muito bem o João, se houver erros de digitalização. Mas isso também não é a resposta. Agora, em respostas de desenvolvimento, ainda estamos a uma ou duas gerações de inteligência artificial de isto ficar a ser bem feito.

Não estamos, não, Ricardo.

Não?

Se quiserem, há uma série de artigos de um senhor que o Rodrigo provavelmente conhece, o Matthias G. Vandeveer, e da equipa dele do Boston College, em que estão a avaliar os itens de construção do Teams e do Pearl, e a fiabilidade da correção por inteligência artificial é igual à fiabilidade dos classificadores humanos.

Olha, o Ricardo, nós temos uma experiência que é melhor do que os classificadores humanos.

Exatamente, é melhor que os classificadores humanos.

Mas isso é outro programa.

Estamos a tempos com fogo real.

Está bem, mas então estamos a duas ou três gerações.

Não, João, desculpe.

Ele está preocupado.

Vamos fazer uma coisa: combinamos um programa pra 2027.

Esperem que o Ricardo tem uma ressalva pra fazer.

Falarem da inteligência artificial.

É que a questão da inteligência artificial na correção é que não é pra 30 alunos, mas pra 30 mil ou 300 mil, é, nesta altura. E esse é que é o problema. Ou seja, estamos a duas ou três gerações, não é de eles resolverem o problema. Agora, pra 300 mil, é a escalabilidade, que é o problema que estamos a sentir agora. Eu digitalizo os meus textos, todos, há anos na Católica, mas tenho 30 ou 300 alunos, no máximo. Se tivesse que fazer isso pra 300 mil, era um sarilho.

300 já acho um horror.

Mas é razoavelmente fácil. Os textos são feitos em folhas A3. Este não é, mas é metade disto. E aquilo entra na máquina e faz a digitalização frente e verso e eu tenho um ficheiro PDF, mais uma vez, com a imagem dos textos todos, que me dá uma proteção enorme em relação a que eles são feitos em papel, não são digitalizados, não são feitos em computador. E isto é possível de ser feito em escala pequena, nesta dimensão. E depois tem três excelentes classificadores. Tem três excelentes classificadores também, a quem mando um abraço.

São robôs ou são pessoas?

Não, são pessoas, coitados, têm que me aturar.

São os assistentes.

São os meus assistentes.

São uma espécie de robôs, mas são pessoas.

Mas são excelentes e altamente rodados nesta matéria e que desesperavam no princípio quando eu lhes dizia: "Não, vamos digitalizar isto tudo." Eles: "Estás maluco, então agora 300 alunos, digitalizar isto." A experiência que temos tido é positiva.

Sim, mas no teu caso é digitalização e o ficheiro fica completo.

E o ficheiro fica completo.

O que está a acontecer aqui é digitalização e depois a separação em perguntas.

Exatamente. Em termos técnicos, ainda há aqui uma dimensão que não está a ser utilizada, e eu acho que eles tiveram receio nisto, que é o OCR, ou seja, que é a transformação da imagem em texto digital. E isso estamos muito longe. A fazer fé na minha caligrafia, então estamos longíssimo. E para os alunos que vão pra medicina, eles devem treinar já a caligrafia de médico.

Vamos então se calhar pedir, porque nós temos já muito pouco tempo, aos outros convidados que deixem ficar aqui, basicamente, eu tenho uma pergunta em relação a dia 17 de julho, o que é que se pode esperar?

João Marouço.

Vou ler aqui o comentário: "Ao final da tarde de hoje, 07/07, foram atribuídas mais provas de Matemática A para classificar. No total, tenho agora 291, quase o dobro das provas que me foram atribuídas inicialmente. É quase missão impossível estarem classificadas em tempo útil. Não estou a classificar provas, não sei."

Rodrigo Queiroz e Melo: "Dia 17 vamos ter a divulgação de notas?"

Eu quero esperar que sim, com a informação que temos disponível, nenhum de nós consegue dizer, mas aí é que vem a confiança nas instituições. De facto, neste momento há um compromisso claro, assumido já sabendo o que se passa. Portanto, quero crer que dia 17 teremos cá fora as provas e depois, a partir daí, um processo de perceber exatamente o que é que correu mal para que no ano tudo corra normalmente.

Ricardo Ferreira Reis: vamos ter notas no dia 17 ou vamos, e agora vou ser mau, começar a divulgar notas no dia 17?

Vou-me cingir à informação que nos é transmitida pelo ministro, de que vamos ter notas no dia 17. É com isso que estamos todos a contar. Mas uma nota de confiança no ministro e na sua equipa, mas sobretudo nos classificadores. Ou seja, são eles que estão a resolver este problema e são eles que vão resolver este problema. E têm que ser eles a resolver este problema até que a inteligência artificial os consiga substituir, e então sim, a desumanização será completa neste contexto.

Eu só espero que isto corra bem, porque se não correr bem, é um fortíssimo desincentivo para não se fazerem reformas.

E outra questão que me parece ser particularmente importante é: eu sei que politicamente a questão do futuro do ministro é muito interessante, mas o que eu espero é que no final do ano letivo 2027/2028, recordemos, lembram-se quando isto passou a ser classificado de forma digital, a crise que houve, até o ministro pode ter caído, pode não ter caído, agora não sei a futurologia, mas perceber que não há regresso à caneta e papel. Porque depois unem-se sempre aquelas forças atávicas da nação, que são transversais politicamente. E um pouco mais burras que o velho do Restelo, que apesar de tudo era um homem avisado. Portanto, eu acho que dia 17 vamos perceber se isto foi uma crise, como acontece sempre quando se passa para outro tipo de inovação, ou se também vamos ter aqui uma crise política, mas seja como for, pague politicamente quem quer que seja, eu acho que temos de salvar a digitalização.

A digitalização. Muito bem.

E está combinado o tal programa 2027, venham cá os três tratar de todas essas maravilhas que nem sei bem explicar o que são.

Eles saberão. Rodrigo Queiroz e Melo, João Marouço, muito obrigado a ambos. Obrigado também ao Ricardo Ferreira Reis, que trouxe uma gigante cábula. O exame já acabou, já podes meter a cábula no bolso. Até amanhã para o novo Contra-Contra.

Esta era de consolo. O exame era outro.