Algorytm Muon stał się silnym optymalizatorem parametrów macierzowych w pretreningu dużych modeli językowych, wykorzystując kilka iteracji Newton-Schulza do przybliżonego ortogonalizowania pędu. Dotychczasowa teoria traktowała finitne przybliżenia Newton-Schulza jako błędy, sugerując że mogą one tylko pogorszyć gwarancje konwergencji. Nowe badanie przewartościowuje ten pogląd, pokazując że ograniczona głębokość iteracji może faktycznie przynieść korzyści.
Klucz do tego odkrycia leży w analizie poprzez konwersję online-to-nonconvex, która traktuje regułę aktualizacji jako uczącego się online gracza. Finitna iteracja Newton-Schulza wygładza nieciągłą polarną mapę w Lipschitzowskie mapowanie wartości singularnych, transformując Muon w uczącego się online z wygładzonym spektralnym potencjałem. To wygładzanie jest dokładnie tym, czego potrzebuje konwersja teoretyczna: autorzy dowodzą że głębokość Newton-Schulza rosnąca logarytmicznie względem pożądanej dokładności wystarczy do zbieżności do punktów stacjonarnych, podczas gdy Muon z dokładną polarną aktualizacją może zawieść.
Gwarancje złożoności próbki pasują do najlepiej znanych wyników dla nieróżniczkowalnej optymalizacji niewypukłej i są optymalne dla gładkiej optymalizacji niewypukłej do współczynników zależnych od problemu. Analiza rozszerza się poza Newton-Schulza na ogólne potencjały spektralne, sugerując szersze zastosowania w optymalizacji macierz-wartościowych parametrów w uczeniu głębokim.