Uczenie się zmienia dynamikę sieci neuronowych z chaotycznej na stabilną

Naukowcy z pomocą zaawansowanej teorii fizycznej wykazali, że uczenie się w sieciach neuronowych rekurencyjnych fundamentalnie przekształca ich dynamikę. Na początek sieci wykazują chaotyczną aktywność, ale w trakcie treningu system przechodzi w uporządkowany reżim, gdzie neuron zachowuje się stabilnie i zadańsko-zależnie. Przejście to nie jest przypadkowe - wynika z systematycznego wzmacniania sprzężeń zwrotnych.

Teoria opiera się na dynamicznej teorii pola średniego (DMFT), stanowiącej narzędzie zapożyczone z fizyki statystycznej. Kluczowe odkrycie to pokazanie, że powolny proces uczenia prowadzi do zmiany efektywnej siły sprzężenia zwrotnego, która popycha sieć przez przejście fazowe. Naukowcy zidentyfikowali krytyczną siłę sprzężenia i powiązany z nią czas krytyczny zależny od tempa uczenia się - punkty graniczne między chaosem a stabilnością.

Podejście teoretyczne pozwala przewidywać ewolucję wyjścia sieci podczas treningu na podstawie warunkw początkowych, co potwierdzono symulacjami. Wyniki mogą być istotne dla głębszego zrozumienia, jak sieci neuronowe się organizują i stabilizują, oraz mogą pomóc w projektowaniu bardziej efektywnych algorytmów treningowych.