Badanie analizuje zjawisko stronniczości częstotliwości w algorytmie Stochastic Gradient Descent (SGD), który uprzedza się w kierunku komponentów niskiej częstotliwości podczas trenowania modeli. Adam, popularna metoda optymalizacji, skutecznie przeciwdziała temu problemowi poprzez adaptacyjne dostosowanie tempem uczenia się dla różnych parametrów. Odkrycie to ma znaczenie dla zrozumienia, jak różne optymalizatory wpływają na zachowanie modeli i może poprawiać efektywność trenowania sieci neuron