A Inteligência Artificial (IA) já faz parte das nossas vidas. Toda a experiência de compras online, pagamentos, acesso à banca digital, redes sociais, plataformas eletrónicas de transporte, sistemas de navegação, e-mail, motores de pesquisa, tradução automática, assistentes pessoais, câmeras fotográficas, plataformas de streaming e muito mais, são influenciadas pela IA. Já não é ficção, é realidade. Este tipo de interações são as mais óbvias, e provavelmente aquelas que a maioria das pessoas associa ao uso desta tecnologia.

No entanto, existem um outro tipo de interações que são cada vez mais comuns. A IA também já está a ser utilizada para ajudar a tomar decisões em áreas sensíveis como a educação, emprego, saúde, ou sistema financeiro. Em vários países, muitas pessoas já interagem com IA – a maioria sem saber – quando concorre a uma vaga de emprego, quando submete uma candidatura a um curso universitário, quando pede um empréstimo bancário, ou quando o médico recomenda um tratamento preventivo. Nos EUA, por exemplo, cerca de 60% dos tribunais utiliza o “pre-trial risk assessment” para definir o valor da fiança dos detidos. Estamos a falar de decisões que anteriormente eram tomadas exclusivamente por pessoas e que agora são diretamente influenciadas pela IA ou já se encontram num estado avançado de automação. Decisões essas que têm um impacto directo e tangível nas nossas vidas, sem muitas vezes nos apercebermos disso.

A IA aprende através de dados históricos, isto é, decisões passadas tomadas por humanos, e consegue extrair padrões que a permitem distinguir casos positivos e negativos (por exemplo, sucesso ou insucesso no pagamento de crédito). Ao mesmo tempo que aprende a distinguir casos históricos, tenta também aprender a generalizar para conseguir distinguir novos casos. Como tem capacidade de utilizar muitos mais sinais e basear-se em muitos mais exemplos passados, do que nós humanos, consegue tomar melhores decisões que os humanos, mais rapidamente e a baixo custo. Ainda assim, não está sempre correcta. Ainda é muito sensível aos dados de treino e estes podem não ser de boa qualidade ou representativos, certos padrões podem ser mais raros e difíceis de distinguir, entre outros factores.

Existem riscos reais a curto prazo que precisam de ser mitigados – isto se quisermos que a IA tenha um impacto benéfico na sociedade. Nos últimos anos, por exemplo, têm vindo a público notícias de sistemas inteligentes que cometem muito mais erros sistemáticos contra certos grupos da população ou, por outras palavras, IA que discrimina através do gênero, etnia, nacionalidade, educação, idade ou religião. Sabemos, também, que ao automatizar estes processos, estamos a aumentar a escala e a potencialmente amplificar discriminação que já existe na sociedade. Este é um risco real que precisa da atenção dos sectores público e privado. Se negarmos mais vezes o acesso a crédito a pessoas de determinados grupos, ou se oferecemos melhores cuidados de saúde a apenas uma parte da população, estaremos nós a criar ciclos viciosos de desigualdade, a bloquear a ascensão social, a negar a qualidade de vida ou até mesmo a diminuir a esperança média de vida de pessoas que já se encontram em situações de fragilidade? A resposta é sim.

Mas será a IA inerentemente racista ou sexista? A IA apenas aprende e optimiza o que nós definimos e portanto não é inerentemente boa ou má. A responsabilidade é inteiramente nossa, dos humanos. Se lhe dermos exemplos históricos onde se tomaram decisões discriminatórias, então a IA vai extrair esses padrões e passar a discriminar. Por exemplo, se em determinada empresa os homens são promovidos muito mais frequentemente do que as mulheres então a IA quando for utilizada para recrutamento vai selecionar muitos mais homens. Se não definirmos métricas que tenham em consideração as disparidades entre grupos, então a IA não vai otimizar igualdade ou equidade. Existem várias abordagens e técnicas que permitem mitigar discriminação em IA.

Não basta remover a informação demográfica para que a IA deixe de discriminar? Esta é, provavelmente, a falácia mais comum nas discussões sobre IA e discriminação. Trabalhei com dados nos EUA onde é muito fácil inferir a cor de pele através do código postal, do rendimento ou da idade aquando da primeira detenção policial. As redes sociais tentam inferir o nosso sexo e a nossa idade através dos nossos padrões de consumo para assim segmentar-nos para fins publicitários. Há muitos sinais correlacionados, e portanto é um erro assumir que basta “esconder” determinados atributos.

Pela primeira vez estamos a quantificar a discriminação em várias organizações através do IA e temos a obrigação de utilizar a tecnologia para tornar a tomada de decisão mais justa e equitativa. A velha máxima do Lord Kelvin “se não consegues medir, não consegues melhorar” faz mais sentido do que nunca. As entidades públicas têm uma responsabilidade acrescida de auditar e desenvolver IA que promova igualdade, até porque muitas vezes não há outro serviço alternativo disponível, como no caso da justiça. No entanto, ainda não é convencional auditar a discriminação de sistemas inteligentes. A prática comum continua a ser optimizar uma métrica de utilidade global sem ter em consideração disparidades entre grupos.

A responsabilidade deve ser partilhada entre gestão executiva, engenheiros de software, cientistas de dados, gestores de projeto e produto, e demais envolvidos. Atualmente, o IA é tão transversal nas organizações que quem define as métricas a optimizar nem é o pessoal técnico mas sim as equipas de gestão. Códigos de ética dirigidos apenas a cientistas de dados são inócuos quando o problema é transversal a todos os que trabalham na indústria, técnicos e não técnicos. Um profissional na indústria tecnológica geralmente não faz parte de nenhuma ordem ou associação profissional. Médicos, enfermeiros, juízes, jornalistas, advogados, engenheiros civis são apenas alguns exemplos de profissões onde há certificação, formação em Ética, códigos de conduta e respectivos procedimentos disciplinares.

Legislação e regulamentação focam-se apenas nos processos e não no impacto. A legislação proíbe discriminação no acesso a crédito ou emprego com base em atributos demográficos mas devido ao problema referido acima, outros atributos como o rendimento ou expectativas salariais podem estar muito correlacionados com género, etnia ou idade, e portanto apesar de não utilizar essa informação, os sistemas acabam por discriminar. Todos sabemos o quão difícil é encontrar emprego depois dos 50 anos… Enquanto a regulação não se preocupar com o impacto, como por exemplo as taxas de aceitação de crédito ou contratação para cada grupo, o problema vai subsistir. Este problema é independente do uso de IA mas pode ser exacerbado pela utilização de IA não devidamente regulada.

A União Europeia tem vindo a ser pioneira a definir boas práticas e a criar nova regulamentação para uso responsável de dados e IA. Iniciativas importantes mas que pecam por serem vagas e tecnocráticas. É fundamental que a nova Comissão, com este novo pacote de medidas para a IA, consiga passar das palavras aos atos e se foque na operacionalização concreta da regulamentação. Nesse sentido, o testemunho recente perante o congresso dos EUA de Rayid Ghani, professor da Carnegie Mellon University, e cujo conteúdo se baseia em trabalho conjunto no qual tive oportunidade de participar, define recomendações práticas de como os estados, entidades públicas e empresas podem trabalhar para mitigar os riscos de discriminação através do uso da IA.

Esta é a nossa verdadeira oportunidade de quebrarmos barreiras e promover igualdade. Ao aplicarmos inteligência artificial para complementar ou substituir decisores humanos temos a oportunidade de tomar consciência de discriminações históricas e de as corrigir. Precisamos todos de ter essa noção e exigir que as empresas e os Estados façam a sua parte em conjunto com a sociedade civil, para que se rompa com a convenção vigente nesta área onde se cria IA para maximizar utilidade sem considerar a (des)igualdade.

Pedro Saleiro lidera a equipa de AI Ethics na Feedzai e é um dos criadores da plataforma open source Aequitas, uma ferramenta que permite auditar e detetar potenciais discriminações em IA.