Znaczenie tej pracy leży w ujednoliceniu dwóch wcześniej rozpatrywanych osobnie problemów i pokazaniu, że spektralna perspektywa tłumaczy, dlaczego Muon okazuje się bardziej efektywny. To otwiera nowy kierunek badań - zamiast projektować specjalistyczne metody dla każdego problemu, można pracować nad optymalizatorami, które z natury kontrolują kluczowe czynniki stabilności. Analiza per-mode potwierdzida teorię, sugerując, że to podejście optymalizator-centric stanowi uzupełnienie istniejących rozwiązań.
Badania
arXiv CS.LG