Naukowcy opracowali PhysMent, benchmark zawierający 105 scen mechaniki klasycznej, który testuje zdolność współczesnych modeli LLM do rozumowania poprzez interaktywne doświadczenia z fizyką. W przeciwieństwie do statycznych benchmarków, które dostarczają wszystkie dane na starcie, PhysMent wymaga od modeli samodzielnego odkrywania informacji poprzez stosowanie sił, zapytywanie o stany obiektów, manipulowanie czasem i zmianę geometrii sceny. Zadania podzielone są na cztery poziomy trudności i trzy modalności, z sześciowymiarowym systemem oceny.
Wyniki pokazują zróżnicowany obraz możliwości współczesnych LLM. Modele osiągają rozsądnie wysoką dokładność - do 80 procent - w jakościowych zadaniach jednopojęciowych, ale wydajność dramatycznie spada na zadaniach ilościowych. Większość modeli spada poniżej 30 procent dokładności w najtrudniejszych kategoriach, przy czym całkowita dokładność testowanych siedmiu modeli waha się od 25 do 67 procent. Badacze zidentyfikowali, że główną przeszkodą nie są luki koncepcyjne, ale proceduralne - modele mają kłopoty z prematurowym przesłaniem odpowiedzi, nieefektywnym badaniem sceny i niespójnym wykorzystywaniem informacji ze swiata symulacji.
PhysMent odsłania krytyczną słabość współczesnych LLM: podczas gdy rozumieją teorię fizyki, trudno im prowadzić systematyczne, wieloetapowe eksperymenty i podejmować adaptacyjne decyzje na podstawie feedback'u. To ma znaczenie dla praktycznych zastosowań, gdzie AI musi działać w rzeczywistych środowiskach poprzez iteracyjne testowanie i obserwację, zamiast polegać na statycznych parametrach. Benchmark stanowi cenną ocenę rzeczywistych zdolności rozumowania agentów AI w złożonych, dynamicznych zadaniach.