Niższa oczekiwana ranga Fishera gwarantuje lepszą generalizację PAC

Naukowcy zaproponowali nową teoretyczną perspektywę na generalizację głębokich sieci neuronowych, pokazując związek między rangą macierzy informacji Fishera a zdolnością modelu do uczenia się. Tradycyjne granice PAC-Bayes opierają się na założeniu, że dobra generalizacja wymaga rozkładu parametrów pokrywającego dużą liczbę rozwiązań o niskiej stracie. Problem polega na tym, że wymiar przestrzeni parametrów jest zwykle ogromny, co sprawia że tego warunku trudno spełnić w praktyce.

Proponowana metoda wykorzystuje geometrię zadaną przez macierz informacji Fishera, która naturalnie koduje zmiany funkcjonalne modelu. Kluczowa obserwacja to fakt, że zerowe wartości własne Fishera odpowiadają niezmiennikom funkcjonalnym - kierunkom w przestrzeni parametrów, które nie zmieniają wyjścia sieci. Nowa granica generalizacji skaluje się z oczekiwaną rangą macierzy Fishera, a nie całym wymiarem parametrów, co dramatycznie zmniejsza pesymistyczne oszacowania teoretyczne.

To odkrycie ma znaczący wpływ na naszą interpretację, dlaczego sieci neuronowe generalizują tak dobrze mimo ogromnej liczby parametrów. Sugeruje, że efektywna złożoność modelu zależy od liczby naprawdę niezależnych kierunków funkcjonalnych, a nie sumarycznej liczby wag. Wynik może poprowadzić do lepszych metod inicjalizacji, regularyzacji i projektowania architektur, które świadomie minimalizują efektywną rangę dla lepszej generalizacji.