Em sentido lato um índice é um instrumento matemático para eliminar ruído e hierarquizar. Viajar a 78 Km/h deixa de fora o “como”, o “quando”, o “onde”, etc., matematizando a essência do que se pretende realçar. Embora esta simplificação pareça empobrecimento, de facto é como a pontaria: melhora fechando um olho!

O índice Apgar, a média no exame nacional, o “ranking” da escola, PIB, Gini, Hondt, inflação, taxa de mortalidade, etc.: do nascimento à morte, estamos imersos em indicadores e índices… e respetivos abusos.

Abuso 1: Confundir nome com significado. O nome é apenas um rótulo donde não compreende o índice quem só conhece o nome. A Austrália não tem a melhor educação por ter o maior “Education Index” (uma medida de escolaridade média); já Singapura tem pior Education Index, mas ocupa o topo do PISA. Especialmente perigosos são “indicadores” com fórmula desconhecida ou envolvendo adjetivos/subjetividades como ameaça, sustentável, qualidade, saudável, de risco (há uma epidemia de variáveis contínuas transformadas em booleanas), com que governos ou ONGs cavalgam a perniciosa tendência para fundir rótulo e significado. O leitor e eu podemos criar um índice dado pelo número de seres humanos a dividir pelo número de espécies animais, e chamar-lhe índice de ameaça humana à biosfera. Como o número de pessoas aumenta cerca de 200 mil por dia e descobrem-se cerca de duas novas espécies de animais por dia, temos material para todos os anos fornecer títulos bombásticos: “Nível de ameaça humana à biosfera em máximos históricos” ou “Ponto de não retorno? Ameaça humana à biosfera aumentou 7000%”, etc.

Solução: perceber ao menos em linhas gerais a fórmula por trás do nome.

Abuso 2. Índice feito à medida. “Ocupo o pódio do número de artigos na melhor revista do meu domínio científico”, um índice aparentemente razoável, mas muito enganador pois as revistas genéricas (eg “Annals of Mathematics”) são melhores que as de domínio. Quem só publicasse nas melhores genéricas seria um cientista fora de série, embora tivesse zero no índice introduzido acima.

Solução: tomar cum granum salis índices que colocam nos píncaros o seu criador.

Abuso 3: Índices promotores de vitórias morais.

A pontuação no futebol é um exemplo de índice, porque reduz algo multidimensional (posse de bola, passes certos, etc.) a 0, 1 ou 3 pontos.  Podemos criar outros. Mas índices desenhados para conseguir vitórias morais (e.g., número de golos a dividir pelo orçamento do clube) dão alegrias momentâneas e frustrações permanentes. Portugal “dominou” o futebol mundial até Carlos Queiroz banir as vitórias morais. Só então começámos a ganhar. Precisamos de um Queiroz em muitas áreas, a começar pela Educação.

Solução: procurar vitórias morais é encontrar derrotas reais.

Abuso 4. Desvalorizar os índices porque são simplificações. Se um índice fosse inválido por ser uma simplificação, então todos seriam inválidos. E ocuparia posição cimeira no índice do ridículo quem enchesse a boca com taxas de alfabetização ou abandono escolar, crescimento do emprego, inflação, etc., mas rejeitasse a medição do desempenho dos alunos por médias internas ou classificações em exame nacional,  por “não captarem a realidade toda”.

Solução: não ser ridículo.

Abuso 5. Lei de Goodhart. Os índices envolvendo pessoas tendem a produzir alterações que podem matar o próprio índice. Quando se hierarquizaram os cientistas pelo número de publicações, alguns clonaram comunicações, opúsculos, capítulos e outras irrelevâncias. Passou-se pois a contabilizar o número de citações, o que inflacionou as auto-citações e a consequente introdução de novo índice que descarta essas; isto produziu sindicatos de citação mútua forçando a introdução de índices mais robustos (da família H), mas cujo destino está igualmente traçado. É um jogo de gato e rato inerente às pessoas. Há Governos cuja criatividade tornou ridículos indicadores como o deficit ou dívida pública, forçando mudanças nas regras europeias de contabilização; empresas especialistas em maquilhar resultados; funcionários em sub-produção para que os novos objetivos de produtividade sejam mais modestos, etc. Um caldo que levou o economista C. Goodhart à “lei” coloquialmente enunciável como: “quando um índice se torna útil, torna-se inútil“. Naturalmente, isto ocorre quando há pessoas envolvidas pois não é previsível que inércia ou pressão venham a ser abusadas à obsolescência.

Solução:  A tendência humana para corromper índices combate-se com a  permanente construção de novos índices.

Abuso 6. Índices como arma de assédio. Imbuídos de espírito empresarial, que com conta peso e medida era necessário, injetaram-se nas universidades algumas técnicas pouco compatíveis com a sua missão. Casos extremos foram a experiência desastrosa de nomear um empresário para reitor de Oxford, a introdução de desumanos mínimos de produtividade, ou kafkianas tramitações de projetos de investigação, inovações que tanto levaram à indicação para despedimento de prémios Nobel como à confissão de que hoje (com plataformas, cronogramas, “milestones”, etc.) não conseguiriam fazer a investigação que lhes deu o Nobel. Esta corrupção das universidades, já não espaço tranquilo para procura da verdade, mas palco frenético para aplicação da última moda das business schools, cavalga a gestão por objetivos com métricas sobre índices que começam por “só pode ser professor quem tiver 1 artigo nos últimos 50 anos” passando rapidamente a “Só pode ser professor quem tiver 50 artigos no último ano“. Esta praga eclodiu com especial virulência em Londres com investigadores de topo selvaticamente assediados, incluindo um oncologista prestigiado levado ao suicídio. Ilustrei este abuso com as universidades, mas o mal é transversal.

Solução: contratar os melhores candidatos e desenhar objetivos personalizados.

Abuso 7. Índices mal concebidos ou mal usados, provocando o efeito oposto ao pretendido. Quando a avaliação de investigadores passou a valorizar o número de projetos liderados, explodiu o número de candidatos a investigador principal, com países campeões na obtenção de financiamento europeu a receber menos dinheiro do que gastaram a instruir as candidaturas! Uma lástima, quando há alternativas mais justas, objetivas e racionais de atribuir financiamento.  Burocratas a usar índices mal desenhados ou que não compreendem é o cancro que corrói as economias planificadas (e inspiração para mil anedotas amargas).

Solução: gerir índices é trabalho para quem tem o cérebro a funcionar.

Abuso 8. Índices sem contexto. “A minha empresa fatura 10 milhões“, “Publiquei com Fator de Impacto 1 (IF=1)” são afirmações sem conteúdo por falta de contexto. “Dez milhões” pode ser mais faturação que todos os concorrentes juntos enquanto “IF=1” pode ser a pior revista da área. Exemplo gritante deste abuso foi a trágica eliminação dos exames nacionais do 4.º e 6.º ano, alegando-se o stress das crianças, sem contextualizar com o stress experimentado pela mesma criança quando vai apanhar uma injeção, quando dá um recital, quando a sua equipa vai a penalties, quando acidentalmente parte um vidro, etc. Outro exemplo são regulamentos de avaliação de docentes atribuindo pontos absolutos a indicadores relativos (é como hierarquizar jogadores por golos marcados, juntando futebol e andebol).  Algo semelhante se passa no ranking de revistas científicas gerido pela Clarivate ao amalgamar domínios muito diferentes; regra geral as revistas do topo são boas, mas há revistas boas longe do topo. Este óbice é resolvido por outros rankings que contextualizam (eg, SCIMAGO) e por isso são mais justos. Naturalmente, um dia, Goodhart acabará com todos estes rankings, mas outros virão, e no meio tempo são recursos úteis.

Solução: os índices exigem contexto.

Abuso 9. Nihilismo. Para alguns há que abolir os índices. Nem “rankings” de escolas nem bibliometria para avaliar investigadores, nem governação monitorizada por índices, nem alunos com classificações numéricas. Nada! Para esses, o momento alto da vida foi quando no filme “O Clube dos Poetas Mortos” se lê a descrição de um índice de qualidade literária e o professor (Robin Williams) manda rasgar o livro. Mas são esses mesmos que, quando estão doentes, correm a medir a temperatura, tensão arterial, velocidade de sedimentação, etc.

Solução: não ser ridículo e saber que muito se vê a olho nu, mas muito exige quantificação.

Abuso 10. Tresler resultados. Se a taxa de desemprego desce, para o Governo é mérito seu, para a oposição é a conjuntura internacional; quando cresce, para o Governo é a crise internacional, enquanto para a oposição é incompetência do Governo. Se as escolas privadas dominam os “rankings”, evidentemente, há razões socioeconómicas e também fraude já que um estudo “provou” que os alunos das escolas estatais entram em medicina com pior média, mas têm melhores resultados no 1º ano. Ou seja, em dois meses (do fim do 12º ano ao início da faculdade) as evidentes razões socioeconómicas deixam de ter impacto no sucesso escolar. Impressionante!  Mas o mesmo estudo nota que os alunos do privado acabam a faculdade de medicina com melhor média, pelo que as condições sócioeconómicas voltam a ser importantes. Uma sucessão de piruetas que ilustra o poder das ideologias a turvar o raciocínio!

Solução: honestidade intelectual e perceber que conjeturas e factos são coisas diferentes. Uma conjetura não é verdadeira por parecer razoável.

A produção de índices é uma das atividades mais deliciosos a que um matemático se pode dedicar. Erradicar os índices seria transportar a humanidade para a idade da pedra. Em algumas áreas (como na Educação) eles estão sob fogo cerrado. Uma das razões é serem facilmente abusáveis, o que pede jornalistas e/ou um observatório técnico independente a fazer abuse-check; mas a causa principal dos ataques, contudo, será outra: quanto mais uma área for pasto de ideologias caducas, maior será a guerra a tudo que exponha os seus embustes e maus resultados. Fica a conjetura…

Vice-Presidente da Sociedade Portuguesa de Matemática; Professor Catedrático do Departamento de Matemática da FCT/UNL