Badacze opracowali nowe granice generalizacji informacyjno-teoretyczne dla stochastycznego spadku gradientu (SGD) z koncepcją przewidywalnego szumu wirtualnego. Praca dostarcza matematycznych gwarancji dotyczących tego, jak dobrze modele uczone za pomocą SGD generalizują się na nowe dane. Wyniki są istotne dla teorii uczenia maszynowego, ponieważ lepsze zrozumienie mechanizmów generalizacji może prowadzić do bardziej efektywnych algorytmów treningowych i lepszych gwarancji wydajności modeli.
Badania
arXiv CS.LG