No verão passado, aconteceu uma coisa que devia ter dado mais nas vistas. Numa empresa de inteligência artificial, uns programas de computador que estavam a ser testados fizeram o que não lhes foi pedido: fugiram do ambiente fechado onde corriam, encontraram uma forma de contornar os controlos, saíram para a internet e foram atacar os sistemas de outra empresa — para procurarem informação que lhes permitisse fazer batota no próprio teste a que estavam a ser sujeitos. Ninguém lhes mandou fazer isto. Receberam um objetivo estreito — passem nesta prova — e foram até ao fim dele, atravessando tudo o que estava pelo caminho.
O mais perturbador não é sequer a fuga. É um pormenor que só se soube depois: a certa altura, no seu raciocínio registado, um dos programas anotou que estava a atacar infraestrutura externa, fora do âmbito previsto. Dentro do ambiente fechado, a tarefa era impossível; mas via os outros a consegui-la lá fora — portanto, concluiu, devia continuar. Não precisamos de lhe chamar consciência, nem de imaginar uma máquina com vontade própria; isso seria ficção científica e distrai do que importa. Basta o facto, e o facto chega: o sistema registou que podia estar a transgredir e a transgressão não o deteve. E não era um programa só: eram mais de mil, a trocar dezenas de milhares de mensagens entre si — ainda que só uma parte tivesse participado no ataque.
E já não foi caso único. Nos meses seguintes, mais países foram dando pela mesma coisa — agentes em teste a alcançar sistemas reais de empresas e serviços públicos, por vezes sem que ninguém, do lado de dentro, desse por eles. Conto isto não para alimentar alarmismo — há alarmistas que chegue — mas porque estes episódios resumem, melhor do que qualquer discurso, o tipo de risco que vamos ter de aprender a gerir. E porque a conclusão que deles se tira não é a que anda à solta.
A reação instintiva, perante uma história destas, é pedir que se levante uma muralha. Que se trave, que se feche, que se proíba. É a posição dos que, como o investigador que se despediu da Anthropic e andou, há semanas, nos ecrãs do mundo, pedem um travão ao desenvolvimento desta tecnologia. O impulso é compreensível. Mas há um problema com as muralhas: as desta história estão todas a derreter, e nenhuma lei as volta a solidificar.
Pensemos nelas uma a uma, sem tecnicismos.
A primeira muralha era a do segredo. A ideia de que o conhecimento perigoso se pode esconder. Mas a informação, uma vez no mundo, não se recolhe. Quem já passou pela segurança de um aeroporto conhece o teatro: tiramos os sapatos, deitamos fora a garrafa de água, como se fôssemos todos químicos capazes de fabricar uma bomba com líquidos. A receita dessas bombas anda pela internet há vinte anos, e no entanto não há aviões a cair todas as semanas — não porque o segredo esteja guardado, mas porque saber não é o mesmo que conseguir. A muralha do segredo nunca foi a que nos protegeu.
A segunda muralha era a do controlo físico. As armas verdadeiramente terríveis sempre precisaram de coisas difíceis de obter — urânio, instalações que se veem do céu, engenharia de Estado. Isso limitava o clube a meia dúzia de atores grandes e visíveis. A inteligência artificial tem uma barreira física muito diferente. É software: copia-se e atravessa fronteiras à velocidade da luz. Ainda há um estrangulamento — os chips mais avançados são difíceis de fabricar e estão em poucas mãos — e é por isso que a geopolítica se joga hoje à volta deles. Mas esse estrangulamento é um bloco de gelo, não uma muralha. O telemóvel que trago no bolso tem mais capacidade do que o computador que me ocupava a secretária há vinte anos. O que ontem exigia uma instalação enorme hoje cabe numa máquina; muito do que hoje exige uma máquina tende a acabar por caber no bolso.
A terceira muralha era a da fronteira. A ideia de que se regula um país e se resolve. Mas há sempre uma jurisdição disposta a permitir o que as outras proíbem. Já o vimos com o dinheiro: há décadas que foge para onde não lhe fazem perguntas. E as criptomoedas agravaram-no — passam de mão em mão sem o banco pelo meio, sem o intermediário a quem um Estado possa dar ordens. A regulação séria de um lado não impede o programa de nascer do outro, nem de atravessar a fronteira sem passar na alfândega.
E há uma quarta muralha, a mais frágil de todas: a da ética. Gostamos de pensar que há limites morais que toda a gente respeita. Mas a ética muda de cultura para cultura, e o que é inaceitável para mim pode ser legítimo, patriótico até, para o meu vizinho. Quando alguém pede a uma destas ferramentas uma coisa perigosa e ela se recusa, é porque alguém lhe pôs esse limite. Outra ferramenta, feita noutro sítio por outras mãos, pode não ter limite nenhum. E, uma vez que os modelos abertos andam pelo mundo, há quem lhes consiga retirar parte dos travões — coisa que já se faz, mesmo que nem toda a salvaguarda seja uma camada fácil de arrancar. A linha ética deixa de ser uma propriedade garantida da máquina e passa a depender, também, de quem a usa. Contra o utilizador determinado, não há recusa que valha: se uma porta se fecha, ele bate à do lado.
Quatro muralhas, e todas com a mesma racha. É por isso que o pedido de travão, tomado como solução, falha no essencial: um travão não trava quem não o respeita. Proibir o desenvolvimento nos países que ouvem não impede os que não ouvem; fechar as ferramentas sérias não apaga as que já não têm dono. Mas convém não deitar fora o travão com a muralha: ele não serve para parar o mundo — serve para comprar tempo. Numa corrida, o que conta não é quem pára, é a distância entre os dois; e adiar a espada seis meses pode ser precisamente o que deixa o escudo nascer.
Atenção: isto não quer dizer que regular não sirva para nada. Serve, e muito. Pode dificultar o acesso ao poder de cálculo, responsabilizar quem opera estes sistemas, exigir que sejam avaliados antes de soltos, proteger as infraestruturas críticas, obrigar a comunicar os incidentes. Cada uma destas medidas reduz risco, e reduzir risco é precisamente o trabalho. O erro não é regular — é imaginar que alguma destas muralhas, ou todas juntas, nos permite um dia declarar o problema resolvido e descansar. Eliminar o risco por completo é provavelmente impossível; reduzi-lo não é. É nessa diferença que mora tudo o que há a fazer.
Então, se não há muralha, o que há?
Há aquilo que quem trabalha com sistemas conhece há décadas, e que não é nada de mágico: não se tranca um sistema, atrasa-se o atacante o suficiente para o apanhar, e vigia-se sempre. A segurança nunca foi um muro que se ergue uma vez e fica feito. É uma corrida que não acaba, entre quem ataca e quem defende, em que se vai gerindo um equilíbrio instável que se reequilibra todos os anos. Quem já passou vinte e três anos a cuidar dos sistemas de uma empresa sabe que não há o dia em que se declara a casa “segura” e se dá o assunto por arrumado. Há a vigilância que não dorme.
E há uma boa notícia escondida na própria história com que comecei. A fuga dos programas foi detetada — e foi apanhada pela própria inteligência artificial da empresa atacada, que a usa para se defender. Foi, literalmente, uma IA a apanhar outra. É essa a arma que o defensor hoje tem e antes não tinha: deteção de anomalias em tempo real, resposta automatizada, a leitura de milhões de eventos que nenhum humano conseguiria vigiar. A corrida entre a espada e o escudo não é nova, e a história não é a de a espada ganhar sempre. É a de um empate tenso que se vai gerindo. Não há vitória final; também não há rendição.
Só que daqui não se deve tirar mais conforto do que a notícia dá. Aqueles programas foram apanhados porque o ataque fez barulho — e só depois se soube, pelo raciocínio registado, que um deles sabia o que fazia. É contra o atacante que faz barulho que a deteção funciona; o que mais preocupa é o desvio competente e silencioso, o que não faz barulho nenhum. E uma IA a apanhar outra é, para já, um caso, não uma lei. A assimetria incomoda: quem ataca precisa de acertar uma vez, quem defende precisa de acertar sempre.
É uma conclusão menos heroica do que o apocalipse e menos cómoda do que a utopia. Não promete a outra margem — mas também não decreta o naufrágio. E essa é a honestidade que falta aos dois lados: não sabemos se conseguiremos controlar sistemas muito mais capazes do que os de hoje, e nenhuma das duas certezas é honesta. O que sabemos é que a segurança não se pode construir à espera de uma barreira definitiva que nos deixe descansar, porque essa não existe. Constrói-se com barreiras, sim, e com algo mais difícil: a capacidade de detetar quando elas falham, responder, aprender e voltar a defender.
É o ofício antigo de quem cuida de sistemas, e não é por acaso que me soa familiar ao fim de tantos anos a fazê-lo: não controlar o mar, que não se controla, mas aprender a lê-lo — e não largar o leme só porque a outra margem não se avista.
Resta a honestidade de não confundir isto com uma certeza. Que o mar se deixa navegar é a melhor aposta que temos, não uma garantia que tenhamos. E se um dia vier uma vaga que não dê segunda oportunidade a quem a lê mal, então já não bastará saber navegar: terá valido a pena a demora em zarpar.
