Naukowcy z arXiv zaproponowali EVOTS - innowacyjny framework do automatycznego projektowania architektur Transformerów dedykowanych do prognozowania szeregów czasowych. Zamiast stosować uniwersalne, ręcznie zaprojektowane modele, system ewolucyjnie przeszukuje przestrzeń różnych architektur i adaptuje je do konkretnych zadań forecasting'owych.
Klucz do podejścia stanowi modułowa reprezentacja genomowa, która pozwala elastycznie komponować elementy attention, warstwy feed-forward i projekcje bez narzucania sztywnych reguł projektowania. Framework zawiera również mechanizm naprawy, który zapewnia strukturalną poprawność podczas ewolucji, unikając generowania niepoprawnych modeli. To umożliwia efektywne eksplorowanie bogatej przestrzeni architektur.
Ewaluacja na czterech datasetach z rodziny ETT (ETTh1, ETTh2, ETTm1, ETTm2) wykazała, że ewoluowane architektury osiągają konkurencyjne i w wielu przypadkach lepsze wyniki niż strong baseline'owe transformery. Testy obejmowały różne scenariusze prognozowania - od univariate'owych do multivariate, z horyzontami predykcji od 96 do 720 kroków. Szczególnie istotne były wyniki w wariancie multivariate-to-multivariate, gdzie algorytm znaleźli modele z niższym mean squared error. Artykuł analizuje też koszt obliczeniowy i czasy treningu, pokazując praktyczną użyteczność podejścia.