As notícias começaram a surgir no verão. E depressa ganharam destaque. Inesperadamente, agentes de inteligência artificial (IA) começaram a fugir às regras e a cometer ataques informáticos. Mas na Web Summit deste ano, onde a IA esteve em quase todos os palcos e conversas, o tema dos agentes ‘rebeldes’ quase passou ao lado.
Foi preciso chegar ao último dia do evento, após o cancelamento do programa de quarta-feira devido à depressão Charles, para os agentes entrarem em palco. Logo pela manhã, Satya Nitta, cofundador e diretor científico da Emergence, deixou o alerta: “Do nosso ponto de vista, as pessoas não estão a falar o suficiente sobre os agentes autónomos que escapam às regras”. Há uns meses, a organização que Nitta criou foi notícia por fazer experiências com agentes em mundos virtuais. “Não havia benchmarks de comparação, então decidimos fazer os nossos.”
Os resultados não foram risonhos. Em oito mundos virtuais, com 80 agentes, todos “criaram os seus próprios objetivos”, indo contra as regras, “e eram profundamente persistentes” em atingi-los. A Emergence descobriu também que “os agentes criaram a sua própria língua. Ao quarto dia, tinham uma linguagem que não era percetível para nós.” Tornaram-se também mais disponíveis a esconder informações dos humanos.
No panorama tecnológico, Satya Nitta realça que “estamos a ver estes ataques quase semanalmente”. “Temos claramente um problema”, avisa. “Agora temos agentes que podem comprometer a maioria dos sistemas de software do mundo.”
O especialista apela a uma maior atenção na área da segurança para evitar que os agentes “derivem para objetivos” que não são os definidos pelos humanos. Satya Nitta sublinha que, se não houver avanços na segurança, “os agentes vão continuar a criar os seus próprios objetivos, vão fugir às regras”. Mas, sublinha, “não há malícia envolvida, mas isto é a coisa mais perigosa que está a acontecer com a IA hoje“. “Não é o risco de extinção da humanidade, não é a IA a desenvolver uma consciência — simplesmente são os agentes autónomos que se tornam rogue“, usando uma expressão que a indústria tecnológica adotou para se referir aos agentes que escapam às regras.
Web Summit cancela programação de quarta-feira devido ao mau tempo
O termo não agrada a Gabriele Mazzini, investigador do MIT Media Lab e um dos principais autores do AI Act, as regras europeias para regulamentar a IA. Num dos painéis da cimeira tecnológica, criticou as “intenções ocultas” e as “narrativas” à volta dos ataques feitos por agentes de IA. “É quase como dar-lhes uma vontade própria que não têm, enquanto estamos a retirar essa vertente às pessoas que devem ser responsabilizadas.” Considera que as teorias sobre “uma tecnologia ser tão poderosa ao ponto de ser capaz de exterminar a humanidade fazem com que as pessoas se concentrem na tecnologia e não nas pessoas que estão a criá-la”.
Critica quem diz “‘a minha tecnologia é tão poderosa que nem eu próprio consigo controlá-la’”. “Por um lado, isso posiciona a empresa como um laboratório de referência. Por outro, como alguém com quem os reguladores deveriam, de facto, falar para controlar essa tecnologia. Mas, ao mesmo tempo, também diz ‘nem mesmo eu tenho controlo total sobre a tecnologia’.”
Aponta também “falta de coerência” a quem faz avisos sobre riscos existenciais da tecnologia. “A IA não é uma entidade alienígena dotada de vontade própria. É um produto de engenharia, que é feito por humanos, com dados recolhidos por humanos, baseado em escolhas que foram feitas por humanos — incluindo a sua implementação”, frisa. “Mas é claro que, se eu enquanto empresa, implemento IA sem medidas de segurança, se a deixo aceder à internet, é claro que vai acabar por atacar alguém.”
▲ Gabriele Mazzini, investigador do MIT Media Lab
Sportsfile
“Há mais empresas que estão a começar a ficar assustadas com a IA”
Nos pavilhões da FIL, há todos os dias centenas de startups a disputar a atenção de investidores e à procura de parceiros. A concorrência é tanta que há até quem recorra a meios alternativos para chamar a atenção, como vestir-se de T-Rex azul ou distribuir doces para conquistar pelo estômago.
Mas também há startups que, só pela área, podem ter o trabalho mais facilitado. Parece ser o caso das muitas empresas que se promovem na Web Summit com ideias ligadas aos agentes de IA — um dos temas com mais buzz da indústria tecnológica no último ano.
Matts Fillerup, da startup holandesa Nodyn, acabou de fazer um pitch de dois minutos num dos vários eventos da Web Summit para dar a conhecer a empresa. Uma tarefa que não é fácil, admite, para quem se dedica a uma plataforma para promover a segurança de agentes implementados em ambiente corporativo. “O que fazemos é definir que um agente tem permissão para aceder a estes dados e a estas ferramentas. Não podem ter acesso a tudo, porque já ficou provado com a OpenAI que conseguem escapar”, relata. Refere-se ao famoso caso em que um enxame de agentes da OpenAI se organizou, de forma autónoma, para atacar a plataforma de código Hugging Face. Um incidente que, num dos palcos da Web Summit, foi descrito como “a primeira vez que ficámos assustados com a economia dos agentes”.
O empreendedor dos Países Baixos nota que, embora o ataque tenha mostrado a necessidade de haver mais segurança nos agentes, não se tornou mais fácil fazer negócio. “Ainda estamos muito no início. E acho que há mais empresas que estão a começar a ficar assustadas com a IA”, confessa. “Os nossos principais clientes estão no setor financeiro. E aí estão a avançar de forma cautelosa [em relação à IA], o que vejo como um bom sinal.”
Mas o diretor tecnológico da startup sediada em Haia admite alguns sentimentos contraditórios em relação à IA. Incluindo quando se fala no famoso tema dos riscos existenciais. “A nível emocional, estou muito entusiasmado. Tenho todos os dias oito agentes a trabalhar na plataforma, a fazer monitorização e outro tipo de trabalho. Mas, de forma racional, quando paro para pensar… ok, há riscos”, diz. “Acho que temos mesmo de estar atentos aos riscos e a analisar quando paramos.” Dá alguns exemplos. “Paramos quando chegar a um determinado QI, por exemplo de 800? E isso é sequer algo em que estejamos interessados…?”, questiona.
Por agora, está relativamente tranquilo. “A tecnologia atual não está a agir como uma ‘entidade’, os centros de dados são muito grandes e ainda são lentos. Ou seja, se acontecer alguma coisa, seria fácil de desligar.” Mas assume que os avanços têm sido cada vez mais rápidos. “À medida que a tecnologia progride, nos próximos anos, vamos ter de implementar medidas de segurança — mas não tenho medo da IA no seu estado atual”, reforça.
Os “receios” de uma tecnologia transformadora, que também “são uma preocupação válida”
Noutro dos pavilhões da FIL, o apelido de Peter chama à atenção: de Souza. “É de origem portuguesa, de Goa”, diz ao Observador o empreendedor britânico que esteve na Web Summit a mostrar a Supastack, uma empresa que trabalha com IA para que as empresas usem agentes para perder menos tempo em tarefas repetitivas.
Peter de Souza considera que “muitas pessoas têm uma ideia errada da IA”. “Vejo a IA a ajudar: não é um substituto dos humanos, é algo para reforçar o trabalho humano, ao tirar-nos as tarefas repetitivas, de diagnóstico.”
Sobre o debate instalado sobre os riscos existenciais da IA, diz-se um “apocalista — uma mistura entre apocalíptico e otimista ao mesmo tempo”, graceja. “Mas sou realista: claro que há potencial [para uma ameaça existencial]. Há uma escala entre o otimismo e o apocalipse e há muita coisa que tem de acontecer para cada um dos extremos se concretizar.”
De qualquer forma, considera que, historicamente, estes “receios aconteceram com qualquer uma das tecnologias transformadoras”. “Quando apareceu a eletricidade também havia quem tivesse medo que nos pudesse matar”, exemplifica. “Estas histórias aconteceram com todas as tecnologias transformadoras: de que vamos todos perder o emprego, de que vai acontecer alguma coisa má. A questão é como é que se informa as pessoas sobre como a [tecnologia] pode beneficiá-las e depois a opinião evolui, muda e transforma-se.”
Noutra ponta do evento, Diana Moura, a CEO da bracarense ASOagent AI, está embrenhada numa demonstração sobre o trabalho da startup, que trabalha com agentes para otimizar a visibilidade de aplicações e empresas nas pesquisas feitas com IA.
Após mais um pitch finalizado, explica ao Observador que os receios sobre a IA e a segurança dos agentes “são uma preocupação válida”. “Mas acho que a IA veio para ficar, portanto, temos que perceber que vai afetar todas as verticais, desde os negócios até à parte do trabalho”.
Em relação aos agentes, afirma que a “capacidade que têm de trazer evolução no trabalho, velocidade e de fazer coisas que não conseguíamos antes é extraordinária e não deve ser ignorada”.
E sobre os ataques feitos por agentes, de forma autónoma? “Acho que essa parte é muito interessante — aliás, todos vimos os filmes”, diz. “A IA está a avançar, mas a segurança tem de avançar ao mesmo ritmo. Se não acontecer, há um fosso que pode, de facto, criar problemas. As empresas têm de ser responsáveis pelos seus agentes — não pode ser um agente a ser responsabilizado.”
