Naukowcy opracowali S-GAI, framework inicjalizacji wag dla jednowarstwowych sieci MLPs z aktywacjami sigmoidalnymi, który zamiast losowych wag wykorzystuje informacje o geometrii spektralnej zbioru treningowego. Kluczowa idea polega na tym, że jednostki sigmoidalne mogą działać jak gładkie bramy półprzestrzeni - poszczególne neurony uczą się reprezentować kierunki w przestrzeni cech zdefiniowane przez rozkład danych.
Metoda działa w trzech krokach: najpierw dla każdej klasy obliczane jest rozkład SVD (singular value decomposition), który dostarcza średnią, kierunki główne i skalę spektralną; następnie próg energetyczny wybiera które kierunki zachować w inicjalizacji; wreszcie każdy wybrany kierunek reprezentowany jest przez dwie bramy sigmoidalne. Te bramki tworzą współdzieloną warstwę ukrytą, którą można wytrenować lub zamrozić. Autorzy testowali również nieneur alowy klasyfikator bazujący na SVD jako punkt odniesienia.
Eksperymenty pokazują, że S-GAI inicjalizowana sieć startuje z znacznie bardziej informatywnym stanem warstwy ukrytej w porównaniu do popularnej inicjalizacji Xavier. Co ważne, nawet gdy warstwa ukryta jest zamrożona i trenuje się tylko warstwa wyjściowa, model uzyskuje lepsze wyniki niż losowe bramy, co świadczy o tym że S-GAI skutecznie koduje geometrię klas w początkowych wagach. Wyniki na MNIST i Fashion-MNIST są bardzo obiecujące, a CIFAR-10 pokazuje że metoda działa także na bardziej złożonych danych.