Międzynarodowy zespół badaczy rozwiązał fundamentalny problem w zastosowaniach modeli językowych do finansów i nauk społecznych: bias przyszłości, czyli zawieranie w treningowych danych informacji z czasów późniejszych niż data, do której model rzekomo ma wiedzę. Tradycyjne modele trenowane na pełnym internecie nieświadomie uczą się faktów, których nie mogły znać w konkretnym momencie historycznym, co czyni je bezużyteczne do testowania strategii wstecz lub wnioskowania przyczynowego.
Rozwiązaniem są punkt-w-czasie modele - trenowane wyłącznie na tekstach dostępnych do każdej konkretnej daty kalendarza. Poprzednie próby tego podejścia wypadały jednak słabo w porównaniu z normalnymi modelami. Badacze pokazali, że skalowanie znacznie zmniejsza tę lassę wydajności. Wytrenowali dekodery-tylko transformery z parametrami od miliardów na 1 bilionie chronologicznie filtrowanych tokenów z datasetu FineWeb, tworząc serię monthly checkpointów od 2013 do 2024. Wyniki na testach rozumienia języka i wnioskowania zbliżyły się do wydajności otwartych modeli jak Gemma-3-4B i LLaMA-7B, choć pewna luka pozostaje.
Team udostępnił kompletny pipeline zawierający konstrukcję datasetu, infrastrukturę treningową i kod ewaluacyjny. To oznacza, że wszyscy badacze mogą teraz budować własne punkt-w-czasie modele z gwarancją, że wszystko, co model wie, rzeczywiście było dostępne w konkretnym dniu. Dla finansistów pracujących nad backtestingiem, ekonomistów lub socjologów badających wpływ przeszłych zdarzeń to zmienia regułę gry - mogą wreszcie czerpać z mocy LLM-ów bez obawy, że model oszukuje je przyszłością.