SGD, najpopularniejszy algorytm treningowy sieci neuronowych, ma skryty problem - podczas uczenia modelu uprzedza się w kierunku komponentów o niskiej częstotliwości, ignorując detale o wyższych częstotliwościach. Nowe badanie pokazuje, że to zjawisko, zwane stronniczością częstotliwości, jest systematycznym efektem ubocznym tego algorytmu i ma realny wpływ na to, jak modele się uczą.
To odkrycie wyjaśnia, dlaczego Adam - konkurencyjny optymalizator, który adaptacyjnie dostosowuje tempo uczenia dla każdego parametru osobno - radzi sobie z tym problemem znacznie lepiej niż klasyczny SGD. Podczas gdy SGD zmienia wszystkie wagi z takim samym tempem niezależnie od ich historii gradientów, Adam uczy się dynamicznie, która część modelu potrzebuje bardziej agresywnego treningu. Efekt? Model uczy się bardziej równomiernie, bez nadmiernego skupiania się na tych łatwo dostępnych, niskich częstotliwościach.
Zrozumienie tego mechanizmu ma praktyczne znaczenie dla każdego trenującego głębokie sieci. Wybór między SGD a Adamem to nie tylko kwestia prywatnego gustu - to decyzja, która wpływa na szybkość zbieżności, ogólne właściwości modelu i jego zdolność do generalizacji na nieznanych danych. Badanie sugeruje, że przy świadomości stronniczości częstotliwości można bardziej celowo dobierać optymalizatory do konkretnych zadań, co może przełożyć się na bardziej efektywny trening i lepsze modele uczenia maszynowego.