Optymizer Muon zyskał popularność w trenowaniu wielkich modeli języka, ale jego teoretyczne fundamenty pozostawały zagadką. Nowe badanie wyjaśnia, że preconditioning Muona nie wynika z klasycznego izotropowego szumu - w tym wariancie oferuje zaledwie reskalowanie learning rate'u. Klucz do zrozumienia jego skuteczności leży w strukturalnym szumie powstającym z mini-batch samplingiem w associative memory z heterogenicznymi częstościami zadań.
Badacze ustalili dokładne progi balansowania dla dwóch zadań i rozszerzyli analizę na wiele zadań, pokazując jak coverage zadań i reliability gradientów wspólnie kształtują uczenie. Kluczowe odkrycie: Muon zmniejsza liniową zależność od częstości zadań do pierwiastka kwadratowego, co praktycznie oznacza lepsze balansowanie uczenia się na rzadkich i częstych zadaniach. Momentum dodatkowo redukuje szum samplingowy podczas śledzenia zmieniających się gradientów.
Analiza ujawnia również, że Muon unika negatywnego transferu indukowanego rotacją obserwowanego w SignSGD. Kontrolowane eksperymenty numeryczne potwierdzają te mechanizmy, a wstępne badania pretrainingu LLM pokazują praktyczny potencjał fast-slow momentum. To wyjaśnienie działania Muona ma znaczenie dla optymalizacji trenowania dużych modeli i projektowania przyszłych algorytmów.