Czy płaskie minima to iluzja?

Badacze z arXiv postawili śmałą tezę: płaskie minima, którymi zajmuje się machine learning od kilkunastu lat, mogą być zwykłą iluzją optyczną matematyki. Chodzi o pojęcie, które zdominowało dyskusje na temat tego, dlaczego trenowane modele dobrze się generalizują - czyli działają nie tylko na danych treningowych, ale również na nowych, niewidzianych wcześniej danych. Przekonanie głosiło, że to właśnie szerokie, "płaskie" regiony w przestrzeni parametrów sieci neuronowej powinny zapewniać lepszą odporność modelu. Teraz okazuje się, że wszystko może być znacznie bardziej zawiłe.

Problem leży w tym, jak mierzymy "płaskość" minima. Naukowcy wykazują, że obserwowana płaskość może być artefaktem - sztucznym efektem ubocznym naszych metrik, a nie rzeczywistą cechą krajobrazu optymalizacji. To jak patrzenie na mapę topograficzną: w zależności od skali, w jakiej ją rysujemy, to samo miejsce może wyglądać albo jako płaska równina, albo jako dolinę między pagórkami. Jeśli przeskalujemy współrzędne, geometria problemu zmienia się dramatycznie, a razem z nią zmienia się percepcja tego, czy minimum jest rzeczywiście "płaskie".

Odkrycie to ma poważne implikacje dla całej dziedziny deep learningu. Jeśli fundamentalna teoria stojąca za projektowaniem algorytmów optymalizacji była oparta na złudnym założeniu, to wiele obecnych strategii trenowania może wymagać przeformułowania. Naukowcy będą musieli na nowo przemyśleć, co naprawdę powoduje, że modele dobrze się generalizują, i czy to przypadkiem nie inne mechanizmy niż długo uważane za oczywiste płaskie minima. To zmusza branżę do bardziej krytycznego spojrzenia na swoje założenia i potencjalnie otwiera nowe drogi do bardziej efektywnego trenowania sztucznych sieci neuronowych.