O sistema de identificação automática dos exames nacionais falhou a dobrar na 1.ª fase porque o mecanismo de recurso em caso de falhas na leitura dos códigos QR também gerou erros e propagou-os ao longo de todo o processo.
A conclusão consta de um relatório da Deloitte, que prestou apoio técnico ao Instituto de Educação, Qualidade e Avaliação (EduQA) no processo de classificação digital dos exames nacionais, na sequência das primeiras falhas identificadas durante a 1.ª fase.
No documento, divulgado esta terça-feira pelo Ministério da Educação, a consultora confirma que os principais constrangimentos tiveram origem no sistema de leitura dos códigos QR, mas revela que o sistema de identificação automática das provas falhou a dobrar.
Segundo a Deloitte, perante as limitações na leitura dos códigos QR pela Plataforma de Classificação e Supervisão, os casos em que o código não era reconhecido pelo sistema eram corrigidos manualmente, mas para reduzir a necessidade de intervenção manual, foi introduzido um mecanismo alternativo.
Este mecanismo permitia ler o número convencional (que identifica cada prova, garantindo o anonimato) impresso sob o código QR, mas “apresentava níveis de reconhecimento substancialmente inferiores aos da leitura dos códigos QR“, lê-se no relatório.
Assim, a alternativa criada para os casos em que o sistema principal falhava aumentou o número de leituras incorretas e manteve a necessidade de correção manual.
“A solução acabou, assim, por introduzir erros adicionais na identificação e na consistência das provas, que se propagaram às fases seguintes de processamento, agregação e separação de perguntas, originando situações em que páginas de uma mesma prova apresentavam números convencionais distintos”, acrescenta a consultora.
Identificado o problema, o mecanismo foi descontinuado e as equipas do EduQA, com o apoio da Deloitte, desenvolveram um novo algoritmo de identificação e leitura dos códigos QR que, ainda durante a 1.ª fase, foi aplicado na releitura de todos os códigos já processados para identificar potenciais divergências e “apoiar o trabalho de reconciliação e correção da informação”.
Já na 2.ª fase, o novo algoritmo permitiu reduzir “de forma muito significativa a necessidade de identificação manual”, a que as equipas no centro de digitalização das provas recorreram apenas em casos “residuais” de códigos danificados, rasurados ou ilegíveis.
Entre as falhas consideradas críticas, o relatório refere ainda dificuldades na interpretação das respostas aos itens de escolha múltipla, por vezes devido à “diversidade de formas utilizadas pelos alunos para assinalar” a resposta, que nem sempre permitia uma identificação automática inequívoca.
Neste caso, o algoritmo foi igualmente revisto e as folhas de resposta cuja leitura automática não era possível foram encaminhadas para validação humana.
Por outro lado, a Deloitte aponta divergências entre os ficheiros digitalizados e o conteúdo disponível na Plataforma de Classificação e Supervisão, sem que tenha sido possível determinar de forma conclusiva a origem de todas as falhas.
O relatório confirma ainda outros problemas que já tinham sido apontados pelo Ministério da Educação, Ciência e Inovação (MECI) e responsáveis do EduQA e do Júri Nacional de Exames (JNE).
Em particular, a consultora refere entre as falhas de “criticidade alta” que, apesar de ter sido definido um procedimento para o tratamento das folhas de continuação, não foi aplicado uniformemente (por exemplo, folhas em branco que não foram digitalizadas), e que o volume de incidências reportadas pelos classificadores ultrapassou a capacidade de resposta.
As incidências concentraram-se sobretudo nas disciplinas de Português, Física e Química A, Matemática A e Biologia e Geologia.
Além destas, a Deloitte identifica ainda outras cinco falhas de “criticidade média”, relacionadas, por exemplo, com a qualidade da impressão das provas, o ritmo da despicotagem numa fase inicial, páginas em falta ou anuladas e versões incorretamente atribuídas nos ficheiros de classificação, parametrizações incompletas e limitações na gestão dos classificadores.
Ainda no decurso da 1.ª fase, foram implementadas intervenções técnicas como “novos mecanismos de controlo, ferramentas de suporte e procedimentos destinados a reforçar a rastreabilidade, a qualidade dos dados e a eficiência do processo”.
“Estes mecanismos permitiram detetar mais cedo situações de não conformidade, reduzir o risco de provas incompletas e tornar o respetivo tratamento mais eficiente”, acrescenta.
