Optymalizator Muon osiąga próg groksowania szybciej niż AdamW, ale dotychczas nie było jasne, jaki mechanizm napędza tę przewagę. Nowe badanie z arXiv izoluje odpowiedź: to ortogonalizacja z iteracją Newtona-Schultza, a nie wcześniej przypisywane ograniczenia normy spektralnej. Gdy badacze testowali samą ortogonalizację bez ograniczeń spektralnych, uzyskała ona pełną wydajność Muona, podczas gdy samodzielne ograniczenia spektralne nie przyśpieszały nic w porównaniu z AdamW i były zawodne.
Mechanistyczna analiza ujawnia głęboką prawdę: ortogonalizujące optymalizatory osiągają uogólnienie przy około trzy razy niższej normie spektralnej. Ważne jest to, że nie po prostu mniej zaburzają osadzenia, ale faktycznie znajdują rozwiązania o niższej normie. To wyjaśnia, dlaczego Muon jest bardziej stabilny - nie przeskakuje w losowych kierunkach, lecz systematycznie zmierza do bardziej gładkich powierzchni strat.
Jednak liczba iteracji Newtona-Schultza ma znaczenie dla stabilności. Zmniejszenie z pięciu iteracji do jednej przyspiesza osiągnięcie progu groksowania, ale czyni rozwiązanie kruchym - podatnym na przejściowy kolaps, szczególnie przy wyższych współczynnikach uczenia. Pojedyncza iteracja jest szybka i stabilna tylko przy małych współczynnikach, podczas gdy pięć iteracji to wybór odporny na wiele warunków. Badacze pokazali też, że skalowanie spektralne można całkowicie pominąć bez mierzalnej straty wydajności.