Zespół badaczy zaprezentował LOTUS - model szeregów czasowych oparty na modelach języka, który wprowadza nową zasadę pretrainingu zwaną forecast grounding. Dotychczasowe podejścia polegały na wyrównywaniu sygnałów numerycznych z językiem poprzez etykiety, napisy lub pary pytań i odpowiedzi, ale nie wymuszały eksplicytnie zachowania informacji o tym, jak ewoluuje sygnał. LOTUS zmienia tę strategię.
Model działa poprzez podzielenie każdego kanału szeregu czasowego na nienakładające się fragmenty, które mapuje w przestrzeń embeddingów LLM. Następnie przewiduje kolejny fragment na podstawie ukrytych stanów modelu języka dla tokenów szeregu czasowego, co zachęca reprezentacje do zachowania informacji czasowej. Aby uchwycić zarówno zmiany czasowe jak i wzory okresowe, autorzy zaproponowali reprezentację temporal-spectral patch łączącą surowy fragment szeregu czasowego z jego reprezentacją spektralną przed mapowaniem do przestrzeni embeddingów.
Wyniki wskazują na potencjał tego podejścia - LOTUS testowano na trzech różnych backbone'ach modeli języka i sześciu datasetach ewaluacyjnych. Model osiągnął najlepszą średnią wydajność z minimalną liczbą parametrów do trenowania, uzyskując 59,91% dokładności i przewyższając najsilniejszą porównywalne metodę o 3,36%. Analizy reprezentacji pokazują, że LOTUS skutecznie wykorzystuje wejście numeryczne i zachowuje strukturę czasową w wyuczonych reprezentacjach fragmentów, co sugeruje, że forecast grounding rzeczywiście zmusza model do zapamiętywania dynamiki szeregu czasowego.