Naukowcy opracowali nową metodę łączenia wielkich modeli językowych z modelami szeregów czasowych, aby wykorzystać znaczenie informacji tekstowych - jak wiadomości i raporty - w prognozowaniu trendów finansowych, pogodowych i innych. Głównym wyzwaniem jest to, że LLM-y dobrze interpretują tekst, ale pozbawione są precyzji liczbowej, podczas gdy modele szeregów czasowych są dokładne, ale nie potrafią analizować wpływu tekstu na przyszłe wartości. Autorzy zwrócili uwagę również na niedostętek dużych, sparowanych zbiorów danych multimodalnych.
Rozwiązaniem jest framework Context as Covariates (CoCo), gdzie LLM przetwarza informacje tekstowe i przekształca je w zmienne towarzyszące - numeryczne wytyczne dla modelu szeregów czasowych. Proces treningu przebiega w dwóch etapach: najpierw LLM się dostrajana metodą Group Relative Policy Optimization (GRPO) z nagrodą związaną z poprawą prognozowania, potem model szeregów czasowych uczy się na zmiennych wygenerowanych przez wyrównany LLM. Naukowcy wygenerowali syntetyczne multimodalne zbiory treningowe przez automatyczne adnotowanie rzeczywistych szeregów czasowych za pomocą modeli językowych.
Eksperymenty pokazują, że modele trenowane na syntetycznych danych uogólniają się dobrze na rzeczywistych benchmarkach obejmujących finanse, ekonomię, pogodę, ruch i bezpieczeństwo. Kombinacja modelu Qwen3-4B-Instruct-2507 jako LLM-u i Chronos2 jako backbone'u osiąga poprawę dokładności do 12 procent mierzoną metryką MAE.