Naukowcy z instytutów badawczych zaproponowali MetaNCA - framework łączący neural cellular automata z meta-learningiem do generowania wag sieci neuronowych. Zamiast tradycyjnego backpropagacji, system wykorzystuje uczone lokalne reguły, które iteracyjnie aktualizują wagi przez sieć, korzystając wyłącznie z informacji od sąsiednich parametrów. Kluczową innowacją jest architektura Weight Transformer, która stosuje linear attention do agregacji sygnałów z otoczenia wag i stanów ukrytych.
System pokazuje imponującą zdolność generalizacji - testowano go na generowaniu architektur MLP, CNN i ResNet dla MNIST i CIFAR-100, skalując do sieci o 2 milionach parametrów. Co istotne, MetaNCA potrafi generować wagi dla architektur całkowicie niewidzianych podczas trenowania, a różnorodność architektur w fazie uczenia wzmacnia tę zdolność uogólniania. Podejście inspirowane biologią - gdzie neurony adaptują się przez lokalne interakcje transmitowane przez synapsy - okazuje się nie tylko teoretycznie eleganckie, ale i praktycznie skuteczne.
To badanie otwiera fascinującą perspektywę dla głębokich sieci neuronowych. Zamiast projektować architektury ręcznie, można je wygenerować poprzez samorganizujące się reguły, co potencjalnie zmniejsza potrzebę neural architecture search i pozwala na bardziej dynamiczne dostosowywanie się modeli do różnych zadań. Połączenie biologicznych inspiracji z nowoczesnymi technikami transformerów sugeruje, że przyszłość może należeć do systemów bardziej adaptacyjnych i efektywnych.