Naukowcy z arXiv opublikowali badanie dotyczące tego, co można wnioskować o sieciach kwadratowych obserwując ich spectral summaries i skalarne krzywe uczenia. Stworzyli analityczne gęstości wejścia posiadające dokładnie gaussowskie rozkłady jednowymiarowych i dwuwymiarowych marginali, przy czym ich operatory czwartego momentu są powiązane ortogonalnym mapowaniem, które zachowuje całą strukturę diagonalną algebry nauczycielskiej. W rezultacie odpowiadające im anchored spectral measures się zgadzają.
Kluczowe odkrycie dotyczy tego, że dla wybranych nauczycieli posiadających niezerowy invariant cyklu, ich factorized krzywe utraty się różnią, ponieważ mapowanie nie zachowuje mnożenia macierzy. Długość cyklu r, która może być arbitralnie duża, generuje kontrast O(epsilona do potęgi r) równomiernie przez czas trenowania. Aby rozróżnić parę takich sieci za pomocą szumnych zapytań o skalarne loss, wymagane jest około epsilona do potęgi minus 2r obserwacji, natomiast ograniczone interwencje inicjalizacyjne ze skalarnymi odczytami gradientu wymagają rzędu epsilona do potęgi minus 2 próbek.
Badanie pokazuje warunkową identyfikowalność - dla wejść gaussowskich i nauczyciela z racjonalnie niezależnym spektrum, jedna dokładna krzywa skalarne loss identyfikuje początkowy predyktor aż do znakowej koniugacji. Wyniki mają implikacje dla zrozumienia, jakie aspekty architektury sieci są możliwe do odzyskania z obserwacji procesu uczenia oraz jak złożoność geometryczna struktury wpływa na identyfikowalność parametrów modelu.