Naukowcy opracowali MetaNCA - nowy framework łączący koncepty neural cellular automata z meta-learningiem w celu automatycznego generowania wag sieci neuronowych. System uczy się lokalnych reguł, które iteracyjnie aktualizują wagi sieci zadaniowej, korzystając wyłącznie z interakcji lokalnych na grafie obliczeniowym, bez tradycyjnego backpropagation.
Inspiracja pochodzi z biologii - neurony biologiczne uczą się efektywnie poprzez lokalne interakcje transmitowane przez synapsy, a system ten przejmuje tę zasadę. Kluczową innowacją jest Weight Transformer architecture dla sieci reguł, która wykorzystuje linear attention do agregacji sygnałów z sąsiednich wag i ukrytych stanów. Po wytrenowaniu sieć reguł potrafi generować wagi dla różnych architektur bez konieczności backpropagation.
Badacze wykazali, że MetaNCA generuje wagi dla feedforward MLP, CNN i ResNet na zbiorach MNIST i CIFAR-100, osiągając skalowanie do 2 milionów parametrów. Szczególnie ważne jest to, że system generalizuje się na architektury niewidoczne podczas fazy meta-treningu - co sugeruje, że różnorodność architektur w treningu wzmacnia zdolności adaptacyjne. To otwarcie nowych możliwości dla bardziej niezależnych, samoorganizujących się systemów AI, które mogą być bardziej odporne i efektywne.