Esta é a história do dia da Rádio Observador: a inteligência artificial é racista e sexista?

"Hello, how can I help you?" "Hi, I'm calling to book a women's haircut for a client. I'm looking for something on May 3rd." "Sure, give me one second." "Uhum." "Sure, what time are you looking for around?" "At 12:00 p.m." "We do not have a 12:00 p.m. available. The closest we have to that is a 1:15."

Estamos a ouvir uma conversa entre uma máquina e uma pessoa que está a trabalhar num salão de cabeleireiro. Em maio de 2018, Sundar Pichai apresentava no evento da Google um avanço na tecnologia de inteligência artificial. A máquina falava diretamente com um ser humano, fazia pedidos, respondia a perguntas e até conseguiu marcar o corte de cabelo para 3 de maio, às 10h00.

"The first name is Lisa." "Okay, perfect. So I will see Lisa at 10 o'clock on May 3rd." "Okay, great. Thanks." "Great. Have a great day. Bye."

Nem damos por isso, mas lidamos diariamente com a inteligência artificial nos mais variados dispositivos. São máquinas que nos leem e que aprendem a interagir conosco. Mas num futuro próximo, que nos espanta, há sempre um lado mais sombrio. Tal como nós, as máquinas são preconceituosas, são racistas e sexistas. Hoje vou conversar com a jornalista Cátia Rocha, especialista em tecnologia do Observador. Bem-vinda, Cátia.

Obrigada, Ricardo.

A possibilidade de eu estar a preparar a história do dia e dizer ao meu telefone ou à minha coluna inteligente ou ao computador, sem tocar em nenhum destes aparelhos: "Marca aí o barbeiro para amanhã, entre as 08h e as 10h", é incrível.

Sim, é verdade, mas também há que reconhecer que para conseguirmos chegar a este ponto de fazer uma simples marcação, uma interação que para nós é tão simples, são precisos mesmo muitos anos de trabalho. E há também que perceber que a grande dificuldade deste trabalho está em conseguir fazer o processamento da linguagem natural, que é uma coisa que nós humanos temos, e as máquinas conseguirem falar neste tom de voz. Mas o mais impressionante neste exemplo da Google que estivemos a ouvir, é justamente essa questão da naturalidade do discurso humano que conseguiram reproduzir. Isso é que é o mais impressionante.

Aquela senhora que trabalha no salão de cabeleireiro não percebeu que estava a falar com uma máquina, como ouvimos na conversa.

Sim, e depois abre-se aqui todo um leque de discussão, nomeadamente a usar esta invenção da Google, vamos assim dizer, que teria de haver um aviso de que se estava a falar com uma máquina.

Isto porque, entretanto, e nós estamos com esta conversa introdutória também para explicar um pouco isto, a máquina, a interação comigo, pode aprender quem é o meu barbeiro. Ela fica a saber quem é o meu barbeiro.

Exatamente. Mas naquilo que temos nos nossos smartphones, que toda a gente usa, normalmente até para conseguirmos usar os assistentes de voz, tivemos de dizer que a determinado contacto está associado este grau de relação. É por isso que eles conseguem compreender: "Liga para a minha mãe ou para o meu pai", e conseguem perceber a quem é que corresponde estes contactos.

E também ficam com toda essa informação.

Nós deixamos mesmo muitas migalhinhas de informação. Essa é que é a questão.

Ainda nesta inteligência artificial mais corriqueira, temos uma coisa chamada chatbots, que conseguem ser muito enervantes.

Quem já usou um, sabe qual é que é a experiência.

Quer explicar o que é isto?

Dependendo dos serviços, a maioria das interações destes chatbots, que basicamente tentam reproduzir uma conversa, são muito utilizados aqui neste âmbito dos serviços mais automáticos, para conseguirem fazer, por exemplo, uma triagem do que é que nós, enquanto consumidores, queremos de determinado serviço ou linha de atendimento. A ideia é que sejam uns chats automatizados que estão preparados para responder a pedidos muito simples. A questão é que nós humanos conseguimos fazer a primeira parte da interação, uma coisa muito simples, e pensamos assim: "Olha, até correu bem. E agora vamos começar a complicar." E o problema é quando começamos a complicar e a pedir tarefas cada vez mais complexas. Muitas vezes vamos para fora de pé, digamos assim, e é aí que se dá a parte mais frustrante destas interações, quando a máquina não consegue fazer aquilo que nós estávamos à espera.

Ou seja, aquele chat que usamos sabe responder-nos quando nós dizemos: "Preciso de um parafuso". Agora, se nós dizemos: "Precisamos de um parafuso, assim mais ou menos daqueles com uma rosquinha, que é para usar numa prateleira", aí já não há volta a dar.

E fazemos naturalmente muitas ordens, muitas hipóteses, muitas coisas que para uma máquina é difícil de processar.

Estivemos aqui a falar de casos mais ou menos familiares, que todos conhecemos, de máquinas que interagem conosco e que nos vão conhecendo. Mas aqui também começa um problema. Estas máquinas não aprendem só as nossas qualidades, e temos muitas, também estão a aprender os defeitos?

Sim, infelizmente, vários estudos têm vindo a público revelar que modelos de inteligência artificial que estão programados para desenvolver texto ou até associar texto a imagens, reproduziam alguns preconceitos raciais e estereótipos, uma espécie de espelho dos nossos preconceitos enquanto sociedade. Basicamente, para funcionarem, estes modelos necessitam de grandes bases de dados e de muita informação, e começaram a reproduzir aquilo que encontravam em alguns dos dados.

E há casos que nos ajudem a perceber melhor isso?

Há um exemplo de um modelo desenvolvido pela OpenAI, que é uma empresa que está a investir muito nestes modelos de inteligência artificial, neste caso para criação de texto, que a partir das palavras dois muçulmanos, para nós que seria uma estrutura possivelmente que ficaria completa com uma piada do gênero dois muçulmanos entram num restaurante ou numa loja. Neste caso, terminava com cenários que ligavam muito esta comunidade a terrorismo. Há também ainda um exemplo de um modelo que tinha de associar palavras a caras, que quando recebia a palavra criminoso, tinha tendência a escolher 10% mais frequentemente homens negros do que homens brancos neste cenário. Ou seja, havia aqui uma reprodução de estereótipos.

E além desses exemplos racistas, também encontraste exemplos sexistas.

"The nurse helped the doctor." A enfermeira ajudou o médico. Uma simples tradução no Google da frase "the nurse helped the doctor" estabelece automaticamente que a enfermeira tem de ser uma enfermeira, uma mulher.

Nesse caso, tem que ser uma mulher.

A ajudar um médico, palavras que em inglês não teriam gênero. É este o exemplo de uma tradução automática.

Mas isso é algo que faríamos também naturalmente, não é? Eu sei que há enfermeiras e enfermeiros, mas, no fundo, a máquina está mesmo a reproduzir aquilo.

Está a reproduzir um estereótipo que temos enquanto sociedade. É como quando se escreve num documento a CEO. Normalmente, a correção automática sugere passar logo para o CEO.

E esse tipo de preconceito que as máquinas vão aprendendo conosco, pode ter alguma consequência quando procuramos um serviço específico ou estamos a falar apenas, por exemplo, de questões de linguagem?

Sim, já pode ter alguma consequência, e é muito essa a questão que se discute hoje em dia. A inteligência artificial tem uma forte componente de automatização e pode ajudar muitas empresas a acelerar decisões de negócio e também na parte de serviço ao cliente. E há exemplos em que a inteligência artificial pode ser usada para fazer cálculos de risco de créditos, por exemplo, ou mesmo acelerar a concessão de crédito. E já há exemplos de casos em que, de forma automática, a inteligência artificial tinha maior tendência a aprovar créditos de pessoas brancas do que de pessoas negras, e mesmo a conceder créditos com valores mais altos a brancos do que a negros.

E cá em Portugal temos algum exemplo de crédito atribuído por inteligência artificial, já ou não?

A banca está já a usar inteligência artificial, mas mais para automatização de processos que sejam muito repetitivos.

Dos mais rotineiros.

Exato. Estes casos de que estou a falar são casos a nível internacional e muitos deles sediados nos Estados Unidos.

Mas Cátia Rocha, as máquinas são programáveis, aprendem conosco. Isto poderia ser diferente? Pode a inteligência artificial ser pura?

Ainda se está a tentar perceber se pura poderá ser uma opção, mas aquilo que está muito em cima da mesa nesta altura é ter uma inteligência artificial que seja mais ética e mais transparente. Transparente no sentido de que estes modelos, que são complexos, isso é assumido, sejam capazes de explicar em que é que se baseiam para tomar determinadas decisões. Do gênero, se um cartão desta pessoa é bloqueado, por que foi bloqueado? É muito importante que estes sistemas consigam explicar estas questões e não ser uma decisão que é final. E um dos especialistas com quem falei para fazer este trabalho refere que se a inteligência artificial foi capaz de aprender preconceitos e estereótipos, também pode aprender com bons exemplos. Ou seja, é uma coisa que não é estática. Está em contínua aprendizagem. Precisa é de ser vigiada, tem de haver algum tipo de monitorização daquilo que é feito neste campo.

Deixa-me pegar nesse ponto, porque nestes dias que correm, há muitas pessoas a ficarem ofendidas, sobretudo com questões de linguagem e a defender normas rígidas para a forma como falamos, por causa das questões de gênero, enfim. Há vários casos aí, mais ou menos polêmicos. E há aqui quase que uma tendência para impor regras a tudo e a todos, sobretudo nesta luta de combate contra os preconceitos. Isso também pode acontecer num negócio como este, que é o da inteligência artificial, haver regras específicas para evitar, por exemplo, casos de racismo?

Pode, e isso já está a ser discutido, pelo menos na Comissão Europeia. A Comissão Europeia já está interessada em fazer um enquadramento de regras para os usos de inteligência artificial, para garantir que não há discriminação ou que não há abuso dos direitos, coisas que possam violar os direitos humanos. Um dos exemplos, por exemplo, para a Comissão Europeia, que é praticamente impossível e que é um uso proibido de inteligência artificial, é para fazer rankings sociais da população, que é algo que temos um exemplo saído um bocadinho da ficção em Black Mirror.

Sim, já vimos o Black Mirror.

Exatamente, mas que na China já é uma realidade. Aqui aquilo de que se está a falar é muito das consequências sérias que o uso de inteligência artificial para tomar estas decisões pode ter. Ter uma máquina a dizer se uma pessoa tem acesso ou não a um crédito, é algo que tem impacto na vida dessa pessoa, nas condições de vida dessa pessoa, é uma questão séria. E a Comissão Europeia está justamente aqui a tentar Perceber um bocadinho. A lógica é que estamos nestes primórdios da inteligência artificial a decidir coisas e eventualmente ter poder de decisão. É um bocadinho como as regras de trânsito. Quando os carros apareceram, também não havia regras de trânsito e é essa a ideia que se quer ter.

O problema é que tudo isto é global, é software. Como é que tudo isso depois se gere?

Exatamente. Mas há quem defenda que se enquanto União Europeia conseguirmos efectivamente avançar para estas regras da inteligência artificial, podemos ter aqui uma vantagem de negócio. Porque se a indústria começa já à procura de soluções mais éticas e a tentar remover este preconceito e estereótipos destes modelos, podemos estar aqui em vantagem. Se conseguirmos fazer cumprindo regras e sendo mais éticos, podemos estar um bocadinho à frente da concorrência.

Cátia, eu tenho uma coluna inteligente, uma smart speaker, e por vezes uso o sistema do telemóvel, sobretudo quando estou a conduzir e digo sempre "por favor", digo sempre "obrigado". É mesmo preciso ser tão educado quando estou a falar com uma máquina?

E normalmente quando dizes obrigado, recebes um obrigado de volta.

Também.

É muito educado. Bem, se calhar já estás aqui a pensar um bocadinho no futuro. Fala-se muito que podemos chegar a um dia em que tenhamos de discutir os direitos, não humanos, mas os direitos dos robôs. E portanto, se calhar já estás aqui a fazer amizade, já a pensar no que é que poderá acontecer.

Os direitos dos robôs.

Os direitos dos robôs.

Enviar mensagem a Cátia Rocha. O que você quer dizer? Obrigado, Cátia. Sua mensagem do app para Cátia Rocha diz: "Obrigado, Cátia." Quer enviar? Sim, obrigado. Certo, já foi enviada.

Ricardo, a Siri escreveu Cátia com K e eu sou Cátia com C. Se calhar é alguma coisa em que a inteligência artificial ainda tem de aprender aqui mais um bocadinho.

Cátia Rocha, jornalista do Observador e é especialista em tecnologia. E vale a pena ler com atenção especial quem assina, e atenção, que é Cátia com C, sobre a inteligência artificial e que está disponível em observador.pt. Esta foi a história do dia. A sonoplastia é da Beatriz Martelo Garcia, a música do genérico, do João Ribeiro. Eu sou o Ricardo Conceição. Até amanhã.