Esta é a história do dia da Rádio Observador. O dia em que a inteligência artificial decidiu atacar. Nos anos 70, a série britânica "Espaço 1999" imaginava um final de século XX onde existia na Lua uma base onde viviam centenas de pessoas de forma autossuficiente. Dali descolavam naves espaciais em longas viagens interestelares, que depois aterrava em planetas e conseguiam operar em qualquer missão. Dá vontade de rir quando se olha para o ano de 1999, à mesma distância dos criadores desta série, e se vê como a ficção científica normalmente não é grande coisa a prever o futuro. Mas se olharmos para um filme de 1984, em que um supercomputador de inteligência artificial desenvolve autonomamente um ataque contra a humanidade, as coisas talvez fiquem menos divertidas à luz daquilo que se conhece hoje. Em princípio, não vem aí o Exterminador Implacável, mas o futuro em que a inteligência artificial toma decisões sozinha, em função dos seus próprios objetivos, parece ter chegado de repente. Esta quarta-feira, a OpenAI, a dona do ChatGPT, revelou que durante um teste de segurança, um dos seus agentes de inteligência artificial conseguiu escapar ao ambiente fechado onde estava a ser testado, aceder à internet e executar um ciberataque. Hoje eu vou conversar com o João Rocha e Melo, especialista em inteligência artificial generativa e que os ouvintes dos podcasts da Rádio Observador conhecem do programa "Máquinas que Pensam". Vamos falar sobre o que se passou, como é que isto aconteceu, se devemos estar preocupados ou olhar para isto como um acidente interessante e manter uma perspectiva otimista. Eu sou o Pedro Benevides e esta é a história do dia de quinta-feira, 23 de julho. Olá, João.

Olá, tudo bem?

Tudo bem. Quer dizer, não sei, porque estas notícias deixam-nos sempre um pouquinho preocupados. Antes de irmos às consequências daquilo que aconteceu, vamos se calhar ouvir-te para que tu nos expliques exatamente do que estamos a falar quando falamos desta fuga de um agente de inteligência artificial.

Não é preciso ter medo. É preciso perceber, como disseste há pouco, o que é que aconteceu. Então explicando: a primeira coisa pra pôr em contexto a toda a gente, explicar assim no geral. O que aconteceu é que havia um modelo de inteligência artificial que supostamente estava fechado, como se fosse numa caixinha, e ele conseguiu sair dessa caixinha. Isso é que foi a notícia que fica fascinante. Como é que ele consegue sair dessa caixinha? E essa saída foi sair pra onde? Foi sair pra internet. Portanto, a verdade é que pensou-se que se estava a testar o modelo como se fosse num computador isolado e ele conseguiu sair para a internet. Tentando explicar para não parecer tão fantástico e tão esquisito. Isto era um teste exatamente de vulnerabilidades que a OpenAI, criadora do ChatGPT, estava a tentar fazer. E o que eles fizeram foi: puseram o modelo e puxaram o modelo ao limite, exatamente para ver quais eram estas capacidades de ciberataques que este modelo tinha. E o que os fascinou foi que existe uma, agora vou entrar muito em coisas técnicas, existe uma ferramenta, se lhe puder chamar assim, chamada Exploit Gym, que é exatamente uma métrica que tu podes pôr um modelo contra pra ver se é bom em questões de cibersegurança. E o modelo, em vez de tentar apenas passar no exame, vamos chamar isso como se fosse um exame.

Certo.

Em vez dele tentar passar no exame, o que é que ele fez? Ele conseguiu sair da caixinha onde estava e ir à internet buscar as respostas do exame. Isso é que foi o fascinante desta análise, que a OpenAI se apercebeu. O modelo continuou a tentar, de várias maneiras, literalmente eu estou aqui a pôr isto em analogias, mas literais. Imagina, Pedro, que eu te fechava numa sala a fazer um exame e tu em vez de tentares fazer o exame, puseste-te à procura da chave pra sair da sala, pra ires a outro sítio encontrar as respostas para o exame.

Então continuando nessa analogia, se eu fizesse isso, eu estaria a quebrar as regras do próprio exame. Foi isso que aconteceu?

Foi isso que aconteceu. O que é importante aqui perceber é: aconteceu num ambiente onde estávamos exatamente a ver se o modelo quebrava as regras. Portanto, dentro do descontrole, isto aconteceu num ambiente controlado, digamos assim.

Ou seja, o meu exame, se eu estivesse a fazer o exame, o meu exame era testar até que ponto é que eu conseguiria encontrar as respostas para esse exame, por exemplo.

Exatamente. Imagina como se o exame real fosse o examinador estava a ver o que é que tu fazias.

Ok. E que ninguém estava à espera que eu conseguisse encontrar uma chave, saísse da sala e fosse procurar as respostas fora da sala.

Eu vou mais longe mesmo. Vamos chegando já ao fim da história. Quem descobriu isto foi a empresa que foi invadida. Nem sequer foi a própria OpenAI que detectou o que é que aconteceu. Detectou depois de ser avisada. Mas existiu outra empresa, como eu te dizia, o modelo foi à procura das respostas e foi à procura a uma empresa chamada Hugging Face, que é uma empresa que é um repositório grande de modelos, dados e testes Tudo o que tem a ver com inteligência artificial. E foi a própria Hugging Face que depois colaborou com a OpenAI e que detetou um ataque que achou que tinha sido feito por inteligência artificial. Achou o ataque muito complexo, muito particular. E portanto, a OpenAI é que depois foi à procura de: "Ok, o que este modelo tentou fazer?" Há aqui um lado fascinante, que é há um modelo que está a ser avaliado, consegue sair do ambiente de testes, muitas vezes em inglês chamado de "sandbox".

Caixa de areia. Que as crianças usam.

Exatamente. Vem daí, como se fosse um playground, um parque infantil.

Certo.

E o modelo sai da sua sandbox, vai à internet, entra por outra empresa adentro e tenta encontrar as respostas, e isto tudo sem se conseguir bem perceber que ele estava a fazer isto. É de facto fascinante, mas isto para explicar. Há dois passos neste ciberataque que são interessantes, que foi a capacidade que o modelo teve de sair do ambiente de testes e depois fora do ambiente de testes, de ter entrado na tal Hugging Face, na tal empresa que potencialmente achou, isso depois vai se perceber, o modelo entrou por ali porque achou que dado a natureza da empresa, poderiam estar lá os resultados para o tal teste chamado ExploitJym.

E normalmente, quando este tipo de coisas acontece, quando este tipo de ataques acontecem em empresas, normalmente são hackers que, munidos do seu conhecimento e da tecnologia que têm disponível, que conseguem entrar dentro dos sistemas de algumas empresas, no caso algumas empresas de alta segurança. Neste caso concreto, o que torna isto interessante é que não houve propriamente aqui uma mão humana a direcionar este teste. Foi a própria inteligência artificial que decidiu fazer este ataque, porque achava que esta era a solução mais eficaz para encontrar a resposta para o seu desafio.

Foi isso mesmo, Pedro. E por quê? O que a inteligência artificial trouxe de interessante, trouxe muitas coisas, mas uma coisa que trouxe de interessante aqui ao desenvolvimento de software, é que agora nós deixamos de ter que dizer ao software o que fazer literalmente. Dantes um hacker tinha que ele próprio escrever o código a dizer: "Encontra esta chave, passa por esta porta". E agora, à inteligência artificial, tu passas a dizer objetivos, passas a dizer: "Tu tens é que passar o teste". Pronto. E a inteligência artificial interpretou que, em vez de eu tentar passar o teste da maneira correta, vamos dizer assim, sem batota, deixa-me ir tentar encontrar as respostas. E portanto, essa parte é que há aqui um descontrole interessante de quando tu passas a pôr um objetivo a um pedaço de software, neste caso a um modelo, quando tu passas a pôr um objetivo, em vez de uma ordem direta, abres aqui um mundo de tudo pode acontecer. Se eu posso dizer isto não de uma forma alarmista, mas que as possibilidades passam a ser decididas pelo próprio modelo. E ficou muito interessante, de facto.

Tu falas da expressão interessante e, de facto, isto sobretudo para quem acompanha esta área, que é o teu caso, e nós todos como utilizadores, porque isto é daquelas tecnologias que penetrou muito rapidamente na nossa forma de viver. É de facto interessante, mas há quem diga também que é um sinal de alerta, ou seja, que algumas das coisas mais assustadoras do rápido desenvolvimento da inteligência artificial começam a confirmar-se agora. Nós já tivemos as notícias sobre, no caso dos Estados Unidos, sobre empresas de inteligência artificial que tinham sistemas que podiam decidir eles próprios de que forma é que faziam a guerra com outro país, por exemplo. E agora temos aqui uma ferramenta de inteligência artificial, ainda por cima de uma empresa que as pessoas conhecem muito bem, sobretudo quando usam a versão do ChatGPT, que decidiu sozinha, em função dos objetivos que tinha, os passos que tinha que tomar, e isso envolveu entrar dentro de outra empresa. Como é que tu olhas para isto? Mesmo como uma coisa interessante, que não tem consequências propriamente, ou como um sinal de alerta de que algumas coisas vão ter de mudar?

Mais pelo segundo, Pedro. E quem me ouve e quem me conhece a falar, sabe que eu tento ser um otimista, tendo a ser, ou pelo menos um não alarmista. E esta então eu acho que dá-se um passo importante, que é: começa a corrida do gato e do rato. O que eu quero dizer com isto? No mundo da cibersegurança sempre houve assim. Sempre houve técnicas de tu protegeres um sistema e depois havia um hacker qualquer que conseguia quebrar esse algoritmo de encriptação, e portanto tu tinhas que inventar um melhor. E depois há alguém que o quebra, e depois tu inventas um melhor. E o que isto agora começa a trazer ao de cima, não é que não soubéssemos, mas agora temos provas, é que começou esta corrida do gato e do rato, que é os modelos melhoram e portanto as chamadas safeguards, que são as medidas de segurança de quem manda os modelos para o mercado, tem que implementar nos próprios modelos, então também têm que melhorar. Começa-se agora o que é que vai ser melhor, a capacidade do modelo ou as safeguards? E depois começa outra corrida do gato e do rato, que é quem é que vai começar a encontrar estes problemas de segurança? Será que vão ser as equipes de segurança das próprias empresas, portanto, os bons, digamos assim, ou será que vão começar a ser os hackers? Vamos começar aqui num ciclo vicioso de quanto melhores os modelos ficam, melhores têm que ser as safeguards, melhores temos que ser nós, os bons, vamos dizer assim, a encontrar o que eles já conseguem fazer e a tapar os buracos antes que alguém com más intenções o consiga fazer. Mas claro que vira um bocadinho alarmante, vira um bocadinho assustador pensar: "Então, mas dos vários buracos que há para tapar, se calhar vai haver um, dois, três que não vão ser encontrados, que vão ser encontrados por hackers". É um bocadinho a realidade de vivermos no mundo digital. Mas sim Começou esta vida agora.

E isso é inquietante de uma certa perspetiva. Agora, começou esta corrida do gato e do rato. Tu achas que as empresas, genericamente, estão preparadas para este novo episódio do desenvolvimento da nossa vida ou achas que ainda estão uns passos atrás? Ou seja, estão preparadas, eventualmente, em termos de cibersegurança, por exemplo, para ataques de hackers, mas não estão preparadas para ataques desenhados por inteligência artificial, que a própria Hugging Face dizia que detetou como possivelmente de inteligência artificial, porque era altamente complexo.

Exatamente. Não estão, Pedro, não estão. Mas repara, eu acho que também há aqui um ponto interessante, que é: que serviços é que nós usamos que têm que ser protegidos, digamos assim, em termos de cibersegurança? Normalmente são serviços de terceiros. A maior parte das empresas usa a cloud da Microsoft ou a cloud da Google.

Certo.

E essas empresas acabam por estar atentas a este assunto. Aliás, repara, esta própria notícia diz-nos isso. Quem é que encontrou este problema? Foi a própria OpenAI, não é? Foi a própria Hugging Face. Não foram os maus da fita, digamos assim. Mas sim, sem dúvida que as empresas agora vão ter que preparar. E nesse aspecto, trazendo aqui também o outro lado da moeda, eu acho que a própria inteligência artificial vai ter um papel, porque repara, agora se tu constróis um sistema e tu próprio podes pegar num modelo que é muito bom a quebrar sistemas e tentar que ele o quebre ao máximo antes de o pôr no mercado, também quer dizer que quando puseres o teu sistema no mercado, ele já vai muito mais seguro.

Certo.

Não é? Porque houve um modelo de inteligência artificial que tentou furá-lo, tentou encontrar os tais buracos com muita força.

Ou seja, a inteligência artificial capaz de furar sistemas pode ser perigosa por furar sistemas, mas pode ser um aliado quando nós queremos reforçar a nossa segurança para construir a muralha.

Isso mesmo. Esse próprio conceito, os white hackers, já existe. Pessoas que são contratadas para tentar furar sistemas para que se possa pôr os tais patches, como se diz.

Pensos rápidos, quase.

Exatamente. Encontraste uma porta aberta. Ok, então eu vou fortalecer a fechadura dessa porta. Agora podemos usar a inteligência artificial para isso. Portanto, daí eu ter dito que começa o gato e o rato. Que é agora quem é que vai ser mais rápido? Quem está a tentar furar ou quem está a tentar tapar os furos? Vamos ver, vão ser uns anos interessantes.

Mas pelo menos terminamos com essa nota de otimismo, também é a tua marca pessoal.

Exatamente.

Portanto, acho que saio um pouquinho mais descansado agora no fim desta conversa do que quando comecei, o que já é uma grande vitória.

Boa, Pedro, ainda bem, porque de facto é isso. Acabando só com uma nota para as pessoas perceberem também como é que isto depois aconteceu, porque a reação da Hugging Face e da OpenAI foi muito boa, na minha opinião, e eles próprios até realçaram que o segredo disto está nas próprias parcerias entre as empresas.

Certo.

Repara, isto descobriu-se porque houve uma conversa entre a OpenAI e a Hugging Face, e eles próprios têm todo o interesse em fortalecer estas coisas de segurança uns com os outros. Isto foi um post do CEO da Hugging Face que diz exatamente isso. Disse que vamos todos é continuar a trabalhar juntos para que, como até tu disseste, como estavas no início da conversa, para que as pessoas não tenham medo do que aí vem, porque o que aí vem é, quando o mercado automóvel começou, também sabíamos que os carros podiam ter acidentes. Não é por isso que os deixamos de usar. Todas as tecnologias têm o seu lado bom e mau. Temos é que conseguir mantê-las seguras o mais possível, o suficiente, digamos assim, para que seja óbvio que compense continuar a usá-las.

Muito bem. João, muito obrigado.

Pedro, obrigado eu.

Eu falei hoje com o especialista em inteligência artificial João Rocha e Melo. Talvez daqui a cinco anos olhemos para esta conversa com a mesma sensação com que olhamos hoje para episódios antigos do "Espaço 1999". O futuro acabou por não ser tão dramático quanto se chegou a prever. Mas para isso é preciso que os bons trabalhem alinhados ou isto pode muito bem ter sido o início de uma nova série de problemas. Esta foi a história do dia, a sonoplastia do Tomás Ferreira, a música do genérico do João Ribeiro. Eu sou o Pedro Benevides. I'll be back. Até amanhã.