A OpenAI revelou esta terça-feira que um agente de Inteligência Artificial (IA) autónomo, desenvolvido pela empresa, “invadiu” os servidores da plataforma de modelos de linguagem e dados de código aberto Hugging Face durante um teste. O ciberataque tinha sido denunciado por esta plataforma na semana passada, acreditando que este incidente pode ter sido o primeiro do género.

O episódio ocorreu durante um teste do agente de IA autónomo, que usou uma combinação do modelo mais avançado da empresa — GPT-5.6 Sol — e um outro modelo mais poderoso que ainda não foi lançado ao público. O agente estava a ser testado numa sandbox — ambiente digital fechado e tecnicamente sem acesso à internet — com o objetivo de resolver um problema de avaliação. Conseguiu escapar ao “confinamento” e obteve acesso à internet através da identificação e exploração de uma vulnerabilidade da ferramenta de cibersegurança ExploitGym.

“Após obter acesso à internet, os modelos inferiram que a Hugging Face poderia estar a hospedar modelos, dados e soluções para o ExploitGym. Sabendo disso, o modelo procurou e encontrou com sucesso maneiras de ter acesso a informações secretas que poderiam ser usadas para enganar a avaliação”, refere a OpenAI, em comunicado. Uma das maneiras incluía o uso de credenciais roubadas, algo detetado internamente pela equipa de segurança da empresa.

Funcionamento do modelo de código aberto

↓ Mostrar ↑ Esconder

A plataforma Hugging Face funciona com modelo de código aberto, que, segundo a Sky News, “disponibilizam o seu código-fonte e dados de treino ao público para testes e estudos”, diferente de modelos mais utilizados como o Gemini do Google e o ChatGPT.

O agente depois “escalou para o acesso em nível de nó, recolheu credenciais de nuvem e cluster e movimentou-se lateralmente para vários clusters internos durante um fim de semana”, afirma a Hugging Face num comunicado, divulgado na semana passada, a denunciar o caso.

A Hugging Face identificou a atividade anómala e bloqueou a atividade do agente, sendo que o incidente está a ser investigado pela plataforma e pela OpenAI, que assumiu agora que o agente era seu. Como resultado do episódio, a empresa detentora do ChatGPT revelou que está a implementar soluções como “controlos rigorosos na configuração da infraestrutura” e a correção da vulnerabilidade identificada.

A OpenAI assume que este tipo de incidentes poderá vir a ser algo que espera “que se torne mais comum com a proliferação de modelos com capacidades de cibersegurança cada vez maiores“.

O cofundador da Hugging Face, Clement Delangue, reagiu ao incidente na rede social X, assumindo que suspeitava que o incidente teria vindo de um “laboratório de ponta”, mas acredita que “não houve intenção maliciosa” por parte da OpenAI.

“É impressionante que tudo isso tenha acontecido de forma autónoma“, refere.

No comunicado divulgado pela OpenAI, Delangue agradeceu a colaboração da OpenAI e afirma que o incidente pode ter sido “o primeiro do género”. “A segurança da IA não será resolvida por uma única empresa a trabalhar em segredo. Será resolvida de forma aberta, colaborativa, com amplo acesso à IA para todos os defensores, em todo o lado”, sublinha.

O incidente pode ser o “prenúncio” de futuros ciberataques através de IA, garante à Reuters Katie Moussouris, diretora executiva da Luta Security, empresa de consultoria de cibersegurança.

“Laboratórios e avaliadores governamentais precisam de trabalhar na capacidade de conter, monitorizar e divulgar às partes afetadas quando uma IA repetir um feito extraordinário, idealmente antes que cause danos a terceiros. Nada disso existe atualmente“, afirma.

Para Matt Suiche, engenheiro da Tolmo, empresa de cibersegurança com IA ativa, a invasão da Hugging Face poderia ter sido feita por modelos ainda mais avançados existentes, algo que afirma já ter visto internamente. “Nem precisamos de usar os modelos mais recentes”, garantiu.

[Já saiu o segundo episódio de “O Candidato Perfeito”. Em “Câmara Lenta”, José Valbom acorda num armazém, vigiado por homens que falam russo. Os inspetores seguem o rasto de um carro preto. A polícia aperta o cerco, mas o tempo está a esgotar-se. Este novo podcast de ficção do Observador, em parceria com a Coyote Vadio, é a continuação da história de “O Zé faz 25”. Conta com as vozes de José Raposo, Tiago Teotónio Pereira, Madalena Almeida, Vera Moura, Paulo Calatré, Susana Brandão, Sara Matos, Fábio Baptista, Pedro Laginha e Carla Andrino. Pode ouvir o primeiro episódio no site do Observador, na Apple Podcasts, no Spotify e no YouTube.]