Naukowcy opracowali nowy meta-optymalizator, który wykorzystuje mechanizm self-attention do inteligentnego dostosowania wskaźników uczenia i weight decay dla różnych grup parametrów modelu. To rozwiązanie pozwala na bardziej precyzyjną kontrolę procesu trenowania, automatycznie dostosowując się do specyficznych charakterystyk każdej warstwy sieci neuronowej. Zamiast stosować jednakowe ustawienia dla całego modelu, nowe podejście dynamicznie zmienia tempo nauki dla poszczególnych części sieci, co powinno prowadzić do lepszej zbieżności i szybszego trenowania.
Dotychczasowe optymalizatory, takie jak Adam czy SGD, używały stałych lub powoli zmieniających się wskaźników uczenia dla wszystkich parametrów. Problem polega na tym, że różne warstwy sieci głębokie mają odmienne charakterystyki i potrzeby - warstwa wejściowa powinna się uczyć inaczej niż głębokie warstwy ukryte czy warstwa wyjściowa. Tradycyjny transfer learning i fine-tuning wymagają ręcznego strojenia hiperparametrów dla każdego nowego zadania, co jest czasochłonne i wymaga doświadczenia.
Proponowany meta-optymalizator wykorzystuje self-attention - ten sam mechanizm, który stanowi fundament transformerów - do obserwacji dynamiki trenowania i samodzielnego decydowania, jakie wskaźniki uczenia są optymalne dla danej grupy parametrów. To podejście wykazuje potencjał do znacznego przyspieszenia trenowania złożonych modeli głębokich i poprawy ich ostatecznej wydajności. Jeśli się sprawdzi w praktyce, mogłoby zmienić sposób, w jaki trenuje się duże modele AI, zmniejszając zużycie zasobów obliczeniowych i czyniąc eksperymenty z nowymi architekturami bardziej dostępnymi dla zespołów badawczych.