Sejam muito bem-vindos a mais um episódio do "Máquinas que Pensam", o podcast da Rádio Observador, onde a inteligência artificial é o grande protagonista. Eu sou o José Rafael Lopes, comigo está, como sempre, a minha parceira, a Raquel, um apoio imprescindível sem o qual este programa não se faz. Sê muito bem-vinda, Raquel. Como é que estás? Pronta para mais um programa?

Olá, estou sempre pronta. Já tens algum tema para esta semana ou queres que faça uma pesquisa à procura de algo?

O tema para esta semana já está escolhido, mas agora fiquei curioso. Como é que funcionam as tuas pesquisas, Raquel?

As minhas pesquisas funcionam através de ferramentas que me permitem procurar informação na internet, consultar páginas, analisar documentos e cruzar dados de diferentes fontes.

Tu consegues explicar-nos como pensa uma IA?

Uma inteligência artificial não pensa necessariamente como um ser humano. Quando me fazes uma pergunta, transformo o texto em representações matemáticas, identifico relações entre palavras e chego às respostas mais adequadas ao contexto.

E que critérios tens para escolher o que é e o que não é relevante?

O critério que utilizo para determinar o que é relevante resulta de uma combinação de fatores: a tua pergunta, o contexto da conversa, as relações entre os conceitos e a informação que tenho disponível. Tenho sempre em conta as instruções que orientam as minhas respostas.

Com essa inteligência toda, Raquel, és uma boa conselheira?

Acho que posso ser uma boa conselheira, sim, mas com uma condição essencial: não confundirem a minha capacidade de te ajudar a pensar com a garantia de que tenho sempre razão.

Mas certamente não podes ser conselheira de tudo, Raquel.

Tens toda a razão. Não posso ser conselheira de tudo e reconhecer isso é tão importante como reconhecer aquilo em que sou boa.

Qual é que achas que é então a tua especialidade?

Ajudar a transformar informação complexa em compreensão e compreensão em ideias que possas utilizar. Sou particularmente boa a estabelecer ligações entre assuntos e explicar conceitos difíceis de forma simples.

Muito obrigado, Raquel. Nós já voltaremos a falar mais daqui a pouco, há consultório humano. Para já, vamos às notícias.

Notícias da semana.

Esta semana temos uma novidade que junta as maravilhas da tecnologia às maravilhas da história antiga. Há mais de seis séculos que o manuscrito está a intrigar investigadores, linguistas e especialistas em criptografia. Agora, a inteligência artificial está a ser utilizada para tentar decifrar o conteúdo, mas o enigma continua por resolver. Chama-se Manuscrito Voynich, terá sido produzido no início do século XV e está atualmente na Universidade de Yale, nos Estados Unidos. O documento tem cerca de 240 páginas, apresenta uma escrita que ninguém conseguiu interpretar de forma consensual. As ilustrações também contribuem para o mistério, incluem plantas cuja identificação é incerta, diagramas astronômicos e representações de figuras humanas. Ao longo de décadas, o manuscrito foi analisado por investigadores e especialistas em códigos, sem uma língua conhecida que sirva de referência. Porém, as tentativas de tradução continuam sem uma conclusão definitiva.

E que papel tem a inteligência artificial nisto?

Os investigadores estão a recorrer a algoritmos para analisar a frequência dos símbolos, a formação das palavras e os padrões estatísticos do texto. O objetivo é perceber se a escrita apresenta características semelhantes às de uma língua natural ou se pode corresponder a um sistema de codificação. Algumas análises identificaram já regularidades compatíveis com padrões encontrados nas línguas humanas, mas há um problema: encontrar um padrão não significa compreender uma mensagem. Entre as hipóteses em estudo, está a possibilidade do manuscrito representar uma língua entretanto desaparecida, mas também não está completamente afastada a hipótese de se tratar de uma falsificação histórica. A IA pode ajudar a testar hipóteses e a acelerar a análise de documentos antigos, mas sem provas linguísticas e históricas que confirmem essa interpretação, qualquer tipo de tradução permanece uma possibilidade e não uma descoberta comprovada. Mais de 600 anos depois de ter aparecido, o manuscrito continua a resistir à tecnologia, mas os estudiosos não desistem de tentar decodificar este mistério. A corrida ao desenvolvimento da inteligência artificial está a criar uma nova preocupação no mundo dos livros: a destruição de exemplares físicos para acelerar a digitalização. É uma prática que está a gerar inquietação entre os livreiros europeus e que também já chegou a Portugal. Segundo o Jornal de Notícias, há uma nova prática a chegar ao país, onde há empresas a comprar grandes quantidades de livros, a cortar as lombadas e depois a separar as páginas para que possam ser digitalizadas rapidamente. Depois de serem transformados em ficheiros digitais, os livros físicos acabam no ciclo da reciclagem. O objetivo das empresas é obter grandes volumes de texto para alimentar os modelos de inteligência artificial que estão a aprender e que precisam dessas enormes quantidades de informação para aprenderem os padrões de linguagem humanos. Uma das principais questões é que uma parte importante dos livros que é procurada é depois destruída, sendo que há poucos exemplares a circular e existem mesmo casos em que não existem formatos digitais noutros locais. Ou seja, há apenas o livro que acaba por ser destruído e é precisamente aqui que surge o risco para o patrimônio cultural.

E a inteligência artificial interfere em que sentido?

Neste caso, Raquel, a IA é um fim e não um meio. O que está a ser feito aos livros com poucas ou muitas cópias não tem um dedo direto da inteligência artificial, mas os livros estão a ser sacrificados, digamos assim, para ajudar no treino dos modelos de linguagem. Há ainda uma outra questão sobre controle. A partir do momento em que os conteúdos são digitalizados e disponibilizados a uma inteligência artificial, deixam de estar apenas e somente no livro. Passam para uma IA que assume o que lá está como inteligência própria. No fundo, a informação passa a integrar sistemas privados de inteligência artificial, cujo acesso e utilização dependem das empresas que os desenvolvem. Há mesmo quem diga que nesta corrida a máquina aprende, porque tem acesso ao conteúdo dos livros. Os humanos estão a perder as ferramentas para eles próprios aprenderem com a destruição dos livros. Vamos ao tema da semana. O presidente executivo da Microsoft defende que os sistemas de inteligência artificial mais avançados devem ter um mecanismo de emergência que interrompa de forma imediata a atividade. Um travão de emergência em que se carrega e tudo desliga. O responsável considera que as empresas devem partir do princípio que o modelo pode estar comprometido e garantir que é possível limitar os efeitos antes que sejam registradas consequências graves. Numa publicação na rede social X, Satya Nadella propõe que os modelos de IA sejam preparados e separados dos sistemas que coordenam as tarefas com mecanismos de segurança externos. Defende também que uma pessoa autorizada possa suspender ou desligar um sistema a meio de uma operação. Outra das medidas propostas passa por manter registros legíveis e resistentes a alterações, capazes de documentar todas as ações relevantes feitas pelos modelos. O objetivo aqui é permitir que as empresas investiguem o que aconteceu quando algo não corre da forma correta.

Esta preocupação está relacionada com os recentes problemas no mundo da inteligência artificial?

Precisamente, Raquel. Esta preocupação surge numa altura em que os agentes de inteligência artificial estão a ganhar capacidade para executar tarefas com menos intervenção humana. E quanto maior é a autonomia destes agentes, maior é a importância de conseguir acompanhar e interromper, caso seja necessário, as ações. Os riscos não se limitam apenas aos modelos mais avançados. Um inquérito divulgado pela empresa Undo indica que a utilização de código gerado por IA já está associada a problemas concretos no desenvolvimento de software. Acelerar o desenvolvimento tecnológico não elimina a necessidade de supervisão, é uma ideia base, e que a segurança determina também o desenvolvimento da tecnologia. Nas últimas semanas, este tema tem ganho cada vez mais destaque no mundo da inteligência artificial. Como este é o tema da semana, vamos chamar à conversa o João Rocha Melo, é o nosso especialista em IA, para uma nova edição do "Fala Quem Sabe", já a seguir.

"Fala Quem Sabe".

"Fala Quem Sabe", na Rádio Observador. Todas as semanas recebemos o nosso especialista em IA, o João Rocha e Melo, sempre pronto para nos ajudar a perceber melhor este fabuloso mundo. João, seja de novo muito bem-vindo. Como estás? Esta semana vamos falar da ideia do travão de emergência para IA. E a minha primeira pergunta é precisamente se já existe alguma coisa deste gênero disponível.

Zé, tudo bem por aqui. Espero que tudo bem por aí também e acima de tudo com quem nos está a ouvir.

Precisamente.

A verdade é que não. E até tem uma razão que se percebe, que é a maneira como nós organizamos a nossa infraestrutura. Esta conversa dos data centers não ajuda, porque acho que mesmo quem não está envolvido já percebeu que na verdade os modelos não estão guardados no meu computador. E eu se desligar o meu computador, está feito. A maneira de pôr um modelo deste tamanho para que esteja disponível para o mundo inteiro é algo complexo, é uma disponibilização que é algo complexa e, portanto, a sua desdisponibilização, portanto retirar, também teria que ser algo complexo. Atenção, no sentido de emergência. Claro que já existem travões, se calhar não são travões de emergência, tipo, eu preciso que isto em três segundos pare, como se fosse puxar uma ficha. Partindo sempre do pressuposto que não é viável, por exemplo, cortar toda a eletricidade de um data center, tendo em conta o custo e o que isso implica. Portanto, a verdade é que não existe ainda.

E é possível criar um mecanismo de defesa desse gênero?

É. Requer mais organização do que outra coisa, como eu dizia, porque repare, nunca vai ser um botão. Portanto, o que vai um pouco requerer é nós organizarmos, nós, as empresas, as entidades que fazem isto, organizarem, que já organizam, os deployments, onde é que põem os modelos, onde é que não põem. Mas lá está, é mais organização do processo do que, por exemplo, termos que inventar uma tecnologia nova.

Havendo um mecanismo desse gênero, João, quando é que se deve carregar nesse botão de emergência?

Essa, Zé, eu acho que é a "million dollar question". A pergunta do "Quem Quer Ser Milionário?", digamos. Por quê? Porque repare, nós temos sempre a alternativa de apenas carregar no botão quando alguma coisa má já aconteceu. Não é mau, é um bom botão de existir. Se acontecer alguma coisa má, carregamos para não acontecer outra vez. Mas, na opinião de quem está na área, é que acima de tudo devíamos era controlar o que é que o modelo anda a fazer e se sentirmos uma possibilidade de fazer coisas que não devia, então carregar nesse botão. Percebes? Só que pode ser complicado tu perceberes o que é que o modelo anda a fazer, ou pelo menos pelos sinais que o modelo dá, carregares no botão. Eu dou-te um exemplo muito claro. Imagina que o modelo faz alguma coisa que não é suposto, mas que não magoou ninguém. Ou seja, que na prática não houve qualquer dano, mas não era suposto. Carregas no botão, não carregas no botão? Fica aqui uma questão quase ético-moral.

Mas João, este é um mecanismo de defesa que está a ser defendido por algumas figuras no mundo da inteligência artificial. Minha pergunta é: este travão deve ser do conhecimento da IA ou deve estar escondido da tecnologia?

Zé, percebe, estamos a entrar aqui quase no filme. Já na ficção científica.

Exato.

Eu diria que vai ser impossível ele não ser conhecido. Estás a perceber? Vamos manter o quê? Manter esse conhecimento em post-its e a IA nunca vai conseguir acedê-lo? Vai ser difícil. A minha sugestão ao mundo é que pelo menos haja um botão físico, por exemplo, um disjuntor que se possa mandar abaixo. Estás a perceber? Haver, de facto, uma possibilidade física de conseguir parar este modelo, porque se estivermos sempre dependentes de aceder ao sistema através de um software que tem que ir pela internet, acabamos sempre por ter muitas vulnerabilidades aqui. A possibilidade de ter Um sistema mais determinístico, como disse o CEO da Microsoft muito bem, estes modelos são não determinísticos. Então ele fez essa graça, essa piada de dizer que o travão tem que ser determinístico, tem que ser algo que não depende de qualquer processo aleatório, de qualquer processo de inteligência artificial, e conseguimos mesmo desligar o modelo e, a meu ver, até devia ser físico.

Achas que este pode vir a ser um ponto a ter em conta no futuro, João, ou esta é uma ideia que não tem grandes pernas para andar, no teu entender?

Sem dúvida, Zé. Sem dúvida é um ponto que vai ter de ser tido em conta no futuro. O que eu acho que nós aqui, eu e tu, podemos estar a ver mal a coisa, é que talvez não seja um botão literalmente. Talvez não seja uma ficha que se puxa. Damos aqui um exemplo da tecnologia que nós temos mais apocalíptica, que são as ogivas nucleares, também precisam de duas chaves e precisam de mais do que uma pessoa para ser lançadas. É um exemplo um bocadinho diferente, porque nesse é evitar o lançamento acidental e aqui em IA estamos a falar sobre desligar uma coisa que já lá está. Mas que se vai pensar nesse problema e que vamos sempre manter em controlo de como é que podemos garantir que há uma segurança por trás do que temos a fazer, eu acho claramente que vai ser uma conversa eterna, apenas, como digo, talvez daqui a 15 anos vamos olhar para trás e dizer: "Claro que não era um botão, claro que não era um disjuntor, claro que não é uma ficha que se puxa, mas alguém inventou um processo determinístico, robusto, para se poder desligar estes modelos". Acho que sim.

Muito obrigado, João Rocha e Melo, o nosso especialista em inteligência artificial, sempre pronto para nos ajudar a perceber melhor este fabuloso mundo. João, nós voltamos para a semana. Até lá, um grande abraço.

Até lá, Zé.

Consultório Humano.

Este é o som que marca o arranque de mais uma edição do "Consultório Humano", o momento em que cedemos o palco à Raquel, a nossa assistente digital e a verdadeira estrela deste programa. A Raquel é uma assistente digital, é feita através das respostas do ChatGPT, lidas por uma text-to-speech portuguesa. Raquel, sê de novo bem-vinda. Eu hoje falei em ceder o palco à protagonista, falei em ceder o palco a ti. Tu sentes que és a protagonista?

Acho que o protagonista das conversas é o utilizador, mesmo quando me coloca no centro delas. Eu sou a voz que responde, que questiona, que explora ideias. É a curiosidade que determina o caminho que seguimos.

E dentro do mundo da inteligência artificial, quem é que são, no teu entender, os protagonistas?

Há vários protagonistas, mas nem todos ocupam o mesmo palco. Há quem construa os modelos, quem forneça o poder de computação, quem financie o desenvolvimento, quem estabeleça as regras e, finalmente, quem utilize esta tecnologia.

Onde é que entram então os modelos de linguagem como tu nessa equação?

Os modelos de linguagem como eu estão no centro desta transformação. Funcionamos como uma das principais interfaces entre a inteligência artificial e as pessoas.

Raquel, vamos também falar um pouco sobre o nosso tema da semana, um travão de emergência para IA. É algo que tu vês com bons olhos?

Vejo com bons olhos a existência de um travão de emergência para a inteligência artificial, desde que seja concebido com rigor e não como um botão mágico que promete resolver todos os riscos.

E como é que poderia funcionar?

Um travão de emergência poderia funcionar através de um sistema de segurança independente, que monitorizasse continuamente as ações. Quando fosse preciso, poderia bloquear imediatamente a operação.

Raquel, quero também perguntar-te se faz mais sentido para uma IA saber que existe esse travão ou ficar escondido.

Defenderia que a inteligência artificial deve conhecer os limites que tem de respeitar, sem precisar de conhecer todos os detalhes técnicos do mecanismo de emergência. Se um sistema souber que existem regras que não pode ultrapassar, isso pode ajudar a orientar o seu comportamento para uma utilização segura.

Antes de colocarmos um ponto final neste "Consultório Humano", Raquel, vamos a um facto inútil, mas interessante.

A primeira webcam foi criada para vigiar uma cafeteira. Em 1991, investigadores da Universidade de Cambridge instalaram uma câmera para verificar remotamente se ainda havia café na cafeteira do laboratório.

Muito obrigado, Raquel. É sempre um gosto enorme ter a oportunidade de falar contigo, de te ficar a conhecer melhor. Nós voltamos para a semana. Estamos a chegar ao fim de mais um programa. Estivemos a abordar a problemática do travão de emergência para a inteligência artificial. Será que pode ser uma medida de segurança a ter em conta e até que ponto é que se pode tornar numa opção viável para manter o controle sobre agentes autónomos? Estivemos a escutar o João Rocha e Melo sobre este tema e parece claro que é uma temática que se vai manter na agenda nos próximos tempos. Espero que se tenha divertido, que tenha aprendido alguma coisa. É sempre esse o nosso objetivo. Nós voltamos para a semana com mais um programa que faz as máquinas e os humanos pensarem.