Naukowcy z datamllab przedstawili Energy-Steered Models (ESM), nową architekturę łączącą modele oparte na energii z generowaniem tokenów do ogólnego modelowania języka. Podczas gdy modele energetyczne wykazywały dobre wyniki w zadaniach domenowo-specyficznych, ESM rozszerza to podejście na scenariusze ogólnego przeznaczenia poprzez inteligentne połączenie obu technik.
Architektura ESM działa dwustopniowo: najpierw optymalizuje stan latentny na krajobisku energetycznym, a następnie wykorzystuje ten ulepszony stan do generowania tokenów. Wędrówka po krajobrazie energetycznym pozwala modelowi znaleźć bardziej obiecujące kierunki przed wybraniem następnego tokena. Tego rodzaju podejście ma potencjał, aby wytrenowany model nauczył się ogólnie efektywnego krajobrazu energetycznego, gdzie tokeny o niższej energii odpowiadają bardziej pożądanym wyborom.
Badacze pretrenowali ESM na trzech dużych korpusach i ewaluowali modele na 26 zadaniach downstream obejmujących różne domeny. Wyniki pokazują, że ESM wykazuje obiecujące zachowanie skalowania wraz ze wzrostem rozmiaru modelu i danych treningowych, jednocześnie przewyższając GPT na większości testowanych zadań. To stanowi ważny wkład w poszukiwanie bardziej efektywnych architektur dla modelowania języka naturalnego.