Naukowcy przeanalizowali dynamikę ukrytego rozumowania (latent CoT) w modelach takich jak CODI i COCONUT za pomocą narzędzi z teorii systemów dynamicznych. Problem polega na tym, że te metody nie przebiegają jak jawne Chain-of-Thought - zamiast jednej przejrzystej ścieżki myślenia, utrzymują wiele kandydujących śladów jednocześnie w ukrytych warstwach sieci, co utrudnia zrozumienie, jak faktycznie przebiega rozumowanie.
Team zastosował podejście polegające na traktowaniu sekwencji tokenów latentnych jako trajektorii w przestrzeni reprezentacji. Wykorzystując miary takie jak zmiana krok-po-kroku, konsystentność kierunku i czułość Lapunowa, oraz wizualizacje przez UMAP i DMD/PHATE, odkryli coś istotnego: latentne CoT wykazuje strukturalną, nie-losową dynamikę. CODI zachowuje się jak stabilny atraktor - system, który zbiega ku stałemu punktowi - podczas gdy COCONUT to ekspandujący system niestabilny. Nadzór SIM-CoT wzmacnia oba zachowania bez zmiany podstawowej dynamiki.
To badanie ma znaczenie dla interpretacyjności sztucznej inteligencji i praktycznego doskonalenia metod latentnego rozumowania. Zrozumienie dynamiki wewnętrznych procesów decyzyjnych modeli otwiera drogę do lepszego sterowania ich zachowaniem i rozwojem bardziej niezawodnych systemów AI zdolnych do złożonego rozumowania.