Uma investigação revelou que introduzir uma quantidade controlada de caos pode melhorar a aprendizagem de redes neuronais artificiais, sistemas computacionais essenciais para a inteligência artificial, inspirados em neurónios biológicos.
Os resultados do estudo do Instituto de Física Interdisciplinar e Sistemas Complexos (IFISC, CSIC-UIB), em Espanha, publicados na revista Physical Review Research, mostraram que as operações realizadas no início de um comportamento caótico, associado a erros ou instabilidade computacional, proporcionam um equilíbrio entre duas estratégias que melhoram o processamento de informação, quando o sistema combina o refinamento de soluções conhecidas com a exploração de novas possibilidades de entre o vasto número de configurações possíveis.
O treino de uma rede neural para realizar uma tarefa, como fazer previsões ou classificações, envolve o ajuste suave e gradual dos seus parâmetros internos. Quando o seu desempenho atinge um nível satisfatório, dizemos que a rede aprendeu a tarefa.
Agora, um novo trabalho do IFISC mostra que introduzir uma quantidade controlada de caos neste processo pode acelerar a aprendizagem. Este resultado é obtido quando a inteligência artificial realiza operações no início do comportamento caótico, permitindo-lhe refinar soluções conhecidas e, ao mesmo tempo, explorar novas possibilidades.
As redes neuronais artificiais aprendem normalmente utilizando algoritmos de otimização, como o gradiente descendente: um processo matemático utilizado pela IA para calcular um erro e determinar a direção da aprendizagem (vetor ou gradiente) que irá minimizar esse erro. O sistema repete a operação milhões de vezes, ajustando gradualmente os parâmetros do modelo, até que o erro seja mínimo e a rede neural se torne precisa.
A taxa de aprendizagem é medida pelo tamanho do passo associado a estes ajustes: valores pequenos garantem um progresso cauteloso e estável em direção a uma solução, enquanto valores mais elevados levam a saltos mais ousados que correm o risco de ultrapassar o objetivo. Este processo é geralmente estável e exploratório, refinando constantemente a solução atual, como um caminhante que segue um trilho bem marcado.
Mas, à medida que a taxa de aprendizagem aumenta, os investigadores do IFISC descobriram que a dinâmica do treino se torna sensível a pequenas diferenças nos pontos de partida, ou seja, na configuração inicial da rede antes de começar a aprender.
Esta característica é distintiva do caos: duas redes neuronais quase idênticas podem divergir drasticamente durante o processo de aprendizagem, como borboletas cujas asas a bater desencadeiam furacões a milhares de quilómetros de distância.
“Em vez de dificultar a aprendizagem, esta instabilidade caótica pode, na verdade, acelerá-la”, explicou Lucas Lacasa, investigador do IFISC e coautor do estudo, referindo que “perto do limite onde a dinâmica caótica começa, o sistema encontra um ponto ideal que lhe permite aprender significativamente mais rápido”. Os investigadores rastrearam os caminhos que os parâmetros da rede percorrem durante o treino e mediram a sua sensibilidade aos pontos de partida.
Com taxas de aprendizagem baixas, tudo flui de forma suave e ordenada, enquanto com valores enormes, o caos total faz com que a aprendizagem entre em colapso. Mas precisamente nesta zona intermédia, as redes aprendem representações precisas e o treino torna-se surpreendentemente mais rápido.
