Ślady pamięci o rozkładzie potęgowym w agentach językowych o długim horyzoncie

Badacze z arXiv odkryli, że systemy pamięci w agentach opartych na modelach językowych wykazują charakterystyczną strukturę: część rdzeniowa zawiera stany, do których agent często się odwołuje, natomiast długi ogon zawiera rzadkie stany, gdzie naturalnie akumulują się błędy predykcji przy ograniczonym kontekście. Zjawisko to wynika z powtarzanych retrievali w skończonym oknie kontekstowym i jest odtwarzalne, choć zależy od stosowanej polityki agenta.

Na podstawie tej obserwacji zespół zaproponował Core-Tail World Model (CTWM), kontroler pamięci oparty na rangowaniu, który przydziela budżet prompt-ów za pomocą pojedynczego parametru tau, jednocześnie zachowując podsumowanie ogona. W testach na Synthetic Graph World metoda zmniejszyła zużycie tokenów o 5,9 procent i obniżyła błędy predykcji w dolnej połowie ogona o 13,6 procent. Na benchmarkach ALFWorld i LongMemEval osiągnęła oszczędności od 5,9 do 24,48 procent tokenów przy zachowaniu porównywalnej dokładności.

Wyniku sugerują, że rozkłady potęgowe w śladach pamięci agentów to nie tylko diagnostic, ale praktyczny sygnał kontrolny do budowy bardziej efektywnych tokenowo modeli świata. To może mieć znaczenie dla skalowania agentów do dłuższych zadań bez proporcjonalnego wzrostu kosztów obliczeniowych.