Badania wykazały, że trudności dużych modeli językowych w rozwiązywaniu klasycznych problemów planowania nie wynikają przede wszystkim ze złożoności strukturalnej zadania, ale z tego, jak model interpretuje znaczenie używanych symboli i predykatów. Naukowcy z arXiv testowali siedem domenach STRIPS z optymalnymi planami, a ich ustalenia przemawiają za całkowicie nowym spojrzeniem na to, co naprawdę utrudnia LLM-om planowanie.
Klucz do odsłonięcia problemu leżał w eleganckim eksperymencie: naukowcy progresywnie zmieniali nazwy predykatów - na przykład zamieniali "to_robot" na "xq7_alpha" - przy jednoczesnym zachowaniu wszystkich stanów, przejść i optymalnych planów. Rzeczywista struktura problemu pozostawała identyczna, ale zmieniała się jego powierzchniowa reprezentacja. Rezultat był uderzający: sukces LLM-ów w generowaniu ważnych planów spadł z 67.5 procent do zaledwie 40 procent w pełni przesunięciu. Tradycyjne symboliczne heurystyki, takie jak delete-relaxation h_add, wykazały niezwykłą zdolność do przewidywania trudności strukturalnej z korelacją Spearmana 0.931 na domenach poza zbiorem treningowym - daleko przewyższając metody uczenia maszynowego w rodzaju ridge regression (0.707) czy najbardziej zaawansowaną architekturę pobierania epizodycznego ARC (0.400).
Wnioski z badania mają znaczące implikacje dla praktycznego zastosowania hybrydowych systemów łączących LLM-y z klasycznymi planistami. Okazuje się, że routing między LLM-em a planistą symbolicznym zależy przede wszystkim od tego, jak dobrze system został skalibrowany do rzeczywistych wyników danego modelu, a nie od jakości samego miernika trudności strukturalnej. To oznacza, że przyszłe prace nad hybrydowym planowaniem powinny skupić się na głębokim modelowaniu, jak konkretne LLM-y reagują na semantykę i kontekst, zamiast budować coraz bardziej zaawansowane narzędzia do pomiaru czystej złożoności algorytmicznej.