Badacze przeprowadzili kontrolowane badanie obejmujące cztery środowiska uczące, aby zrozumieć interakcję między wykładnikiem preconditioningu a globalnym współczynnikiem uczenia w optymalizatorach adaptacyjnych. W eksperymencie przetestowali 21 wartości wykładnika preconditioningu p w zakresie od -0,5 do 0,5 oraz pięć współczynników uczenia eta od 10^-4 do 10^-2, przeprowadzając setki przebiegów treningowych. Kod badania wykorzystywał czterogrupowy problem klasyfikacyjny zawierający stabilne rzadkie cechy, środowiskowe cechy pozorne, cechy gęste i szum wysokowymiarowy.
Kluczowym odkryciem jest prawie liniowa zależność między optymalnym wykładnikiem preconditioningu a logarytmem współczynnika uczenia, z dopasowanymi nachyleniami w zakresie od -0,270 do -0,300 i wysokimi wartościami R-kwadrat (0,972-0,996). Przy wysokim współczynniku uczenia eta=10^-2, kryteria cross-environment i worst-environment preferują ujemne wykładniki, podczas gdy walidacja na danych źródłowych wciąż wybiera wartości dodatnie.
Analiza dekompozycji checkpoint'ów wykazała, że niższe wartości wykładnika preconditioningu zmniejszają stosunek wag pozornych do stabilnych oraz stosunek szumu do stabilnych. Oznacza to, że ujemne wartości wykładnika nie są uniwersalnie optymalnym ustawieniem, lecz raczej stanem wynikającym z interakcji między szybkością uczenia a preconditioningiem, który lepiej generalizuje między środowiskami poprzez zmniejszenie uczenia się niepożądanych cech.