Szeregi czasowe jako język: uniwersalny tokenizer dla ogólnych modeli fundamentalnych

Naukowcy z arXiv zapresentowali UniTok – uniwersalny tokenizer, który konwertuje ciągłe szeregi czasowe na dyskretne tokeny, oraz UniTok-FM, model fundamentalny trenowany przy użyciu metody Next-Token Prediction, znanej z sukcesów w trenowaniu dużych modeli językowych. Innowacja polega na zademonstrowaniu, że techniki z NLP mogą efektywnie pracować z danymi czasowymi, jeśli prawidłowo je przygotuje się.

UniTok wykorzystuje vector-quantized autoencoder z kilkoma kluczowymi ulepszeniami: prefix normalization do stabilizacji skali, architekturę przyczynową o progresywnie rosnącej rozdzielczości oraz stratę rekonstrukcji zachowującą strukturę danych. UniTok-FM nie wymaga modyfikacji specyficznych dla szeregów czasowych – to po prostu standardowa architektura LLM. Zamiast trenować na izolowanych szeregach, system wykonuje predykcję następnego tokenu na oknach kontekstowych zawierających wiele serii o podobnych wzorcach, uchwytując ich wspólną dynamikę.

Co najciekawsze, UniTok-FM osiąga cztery rzeczy naraz: zero-shot forecasting, prompt-boosted forecasting, few-shot generation i classification – wszystko bez dostrojenia modelu. W eksperymentach jednorodny system konsekwentnie przewyższa metody statystyczne i supervised baselines, osiąga wydajność konkurencyjną z modelami specjalistycznymi, a jednocześnie umożliwia in-context inference niezależnie od konkretnego zadania. To zmienia podejście do szeregów czasowych – zamiast budować odrębne modele dla każdego problemu, można pracować z jednym uniwersalnym systemem.