Naukowcy testowali zdolności agentów AI opartych na modelach LLM do samodzielnego odkrywania matematycznych przyporządkowań w problemach mechaniki statystycznej. Stworzyli w tym celu benchmark StatMechBench-v0 zawierający sześć problemów typu Isinga, obejmujących metody macierzy transferu, eliminację zaburzeń oraz struktury planarne i Pfaffowskie. W testach wykorzystali prostego agenta do propozycji, weryfikacji i rewizji kodu, badając jego wydajność na różnych modelach językowych i sformułowaniach problemów.
Wyniki pokazały, że zwrotna informacja numeryczna rzeczywiście pomaga agentom w naprawie kodu i odtworzeniu poprawnych funkcji rozbicia. Chodzi tutaj o kluczową umiejętność teoretycznych fizyków - rozpoznanie, kiedy nowy problem można przekształcić w znany, już rozwiązany model. Agenci zdołali to robić z pewnym powodzeniem, ale pojawił się ważny problem: systemy mogły przejść numeryczne sprawdzenia poprawności, jednocześnie błędnie identyfikując leżące u podstaw klasy matematyczne lub niedoszacowując złożoności obliczeniowej.
To badanie ujawnia istotne ograniczenia obecnych umiejętności rozumowania modelów LLM w kontekście odkrywania struktur. Autorzy wskazują na konieczność opracowania bardziej zaawansowanego stosu weryfikacyjnego, który wykraczałby poza samą zgodność numeryczną i inkorporował sprawdzenia symboliczne oraz analizę niezmienników strukturalnych. Praca stanowi wczesną ocenę możliwości i wskazuje kierunki projektowania agentów AI dedykowanych do odkrywania struktur matematycznych w fizyce teoretycznej.