Naukowcy przedstawili nowy framework teoretyczny do analizy chain-of-thought reasoning w LLM-ach, który nie upraszcza architektury modelu ani nie odwołuje się do analogii z systemami fizycznymi. Zamiast tego formulują proces rozumowania jako odkrywanie wskazówek na strukturze grafu, a następnie wyprowadzają jednowymiarowe równanie różniczkowe opisujące dynamikę tego procesu za pomocą przybliżenia pola średniego.
Wszystkie obserwacje empiryczne opierają się na identyfikacji tokenów stanowiących "wskazówki" przy użyciu znormalizowanej zaskoczenia (surprisal) mierzonej przez student LLM na wyjściach teacher LLM. Badacze uśrednili wyniki z wielu łańcuchów myślenia, aby uzyskać statystyczne prawidłowości. Eksperymentalne wyniki potwierdzają, że te regularności są reprodukowalne w ramach tego samego zestawu danych i mogą być dopasowane przez rozwiązanie zaproponowanego równania teoretycznego.
Ta praca stanowi ważny krok w zrozumieniu, dlaczego chain-of-thought prompting jest tak efektywny w LLM-ach. Matematyczna formalizacja procesu rozumowania może posłużyć do optymalizacji modeli oraz lepszego przewidywania ich zachowania w różnych zadaniach wymagających wielokrokowego rozumowania. Wyniki sugerują, że istnieją głębokie, do tej pory niezbadane prawidłowości statystyczne w tym, jak modele generują sekwencje logicznych kroków.