Nova técnica treina redes de 1.000 camadas sem backpropagation

Por que fugir da retropropagação

O aprendizado profundo padrão depende da retropropagação (backpropagation), mas o cérebro não consegue implementá-la exatamente. Um obstáculo é o “phase locking”: o backprop exige três fases em ordem estrita - passagem direta, passagem reversa e atualização de pesos -, sem que haja mecanismo conhecido no cérebro capaz de impor essa coordenação temporal na rede inteira. Como sistemas distribuídos resolvem a atribuição de crédito multicamada sem backprop permanece um dos problemas em aberto da neurociência. Além da motivação científica, os autores citam um possível ganho prático: a pesquisa pode informar treinamento energeticamente eficiente em hardware neuromórfico, onde simular sistemas dinâmicos é mais barato que em GPU.

Do predictive coding ao PC-ALM

O método estende o predictive coding (PC), que trata cada camada como um sistema dinâmico: cada camada modela seus sinais de entrada e envia para cima apenas o erro de predição. Escrita a rede como problema de otimização com restrições, o PC alterna inferência (atualizações de ativação com comunicação só entre camadas vizinhas) e aprendizado (atualização de pesos local, de tipo hebbiano). O PC treina tarefas simples - MNIST e Fashion-MNIST em MLPs residuais de 128 camadas e 512 neurônios por camada -, mas sofre de decaimento de sinal: em redes profundas e estreitas, o crédito chega fraco demais às camadas iniciais, e aumentar os passos de inferência encarece cada atualização.

O PC-ALM (Augmented Lagrangian Predictive Coding) troca a energia do PC pelo lagrangiano aumentado, criando em cada camada um multiplicador de Lagrange - um “neurônio dual” - com a dimensão da ativação; o treino passa a ser descida primal nas ativações e subida dual nos multiplicadores. Acumulando erros locais de predição, as variáveis duais convergem, em redes lineares profundas, aos sinais exatos de crédito do backprop, resultado derivado no artigo - e os experimentos testam se a vantagem se mantém em redes não lineares. Numa rede escalar de duas camadas, o primeiro passo coincide com o PC e, na convergência, o multiplicador acumula exatamente o sinal de crédito da camada. Em teoria de controle, erro corrente e acumulado formam os termos proporcional e integral de um controlador PI por camada: a atribuição de crédito global emerge de uma rede de controladores locais. A construção dialoga com LeCun (1988), que associou os multiplicadores do lagrangiano padrão aos sinais de crédito do backprop no equilíbrio.

O que os experimentos mostram

No MNIST, o PC-ALM treinou MLPs residuais de até 1.000 camadas (largura 32, ReLU, cinco épocas) e ficou a cerca de 2 pontos percentuais da retropropagação em toda a faixa de profundidade. Em classificação de imagens, superou o PC em todas as tarefas testadas, incluindo ResNet-18 no CIFAR-10 e no Tiny ImageNet, reduzindo consistentemente a distância até o backprop global; conforme a profundidade cresce, a acurácia do PC cai muito mais rápido.

Nas dinâmicas, o crédito avança como uma frente de onda das camadas finais em direção à entrada; o PC-ALM empurra essa frente mais depressa que o PC, numa propagação “balística” contra a difusão tipo fluxo de calor. Neurônios individuais ainda exibem oscilações amortecidas durante a inferência: com passo dual α nulo recupera-se o PC exatamente; aumentar α gera oscilações, e valores excessivos desestabilizam a rede.

Ressalvas e agenda

Os autores afirmam que, pelo que sabem, este é o primeiro método local de camada a treinar redes de até 1.000 camadas, mas os testes seguem a literatura do PC: tarefas simples e MLPs residuais, sem evidência ainda em redes maiores ou tarefas difíceis. Há também uma tensão declarada: o PC exibe “configuração prospectiva” (as ativações assentadas diferem da passagem direta), que segundo Song et al. pode melhorar a eficiência amostral; o PC-ALM melhora a propagação de crédito, mas abre mão dessa propriedade na convergência, e os autores suspeitam de um tradeoff fundamental entre as duas, com ajustes intermediários de T, α e dual leak como caminho possível. Entre os próximos passos estão atribuição de crédito em tarefas temporais, perdas auto-supervisionadas e redes maiores.