Naukowcy z ArXiv zbadali, czy powtarzające się wzory spektralne w wytrenowanych modelach GPT-2 można wykorzystać do inicjalizacji nowych modeli. Analiza 11 checkpointów o różnych rozmiarach, językach i zbiorach treningowych ujawniła spójne trendy w organizacji wag na poszczególnych warstwach Transformera.
Kluczowe obserwacje dotyczyły malejącego rozmiaru oraz rosnącej concentracji spektralnej w głębszych warstwach, zwłaszcza w macierzach odpowiedzialnych za zapisywanie informacji w architekturze. Naukowcy zaproponowali schematy inicjalizacji naśladujące te magnitudy komponentów i profile spektralne. Chociaż nowa inicjalizacja faktycznie zmieniała strukturalne wzory spektralne modelu, przeprowadzone testy wydajności nie wykazały istotnej przewagi nad klasycznymi metodami inicjalizacji.
Wynik badania pokazuje, że spektra wag działają jako przydatny narzędzie diagnostyczne do zrozumienia struktury wytrenowanych modeli, ale skuteczne ponowne wykorzystanie tego wzoru wymaga zachowania bogatszych informacji niż tylko skalowanie komponentów i kształt wartości osobliwych. Przeanalizowane pretrenowane wagi pozostały konkurencyjną opcją, podczas gdy samo dopasowanie spektralne okazało się niewystarczające jako strategia optymalizacyjna.