Naukowcy z uniwersytetów zbadali fundamentalny problem w agentach opartych na dużych modelach językowych: różnicę między obserwowaniem sekwencji zdarzeń a zrozumieniem przyczynowych relacji między nimi. W praktyce agent działający w systemie składającym się z wielu modułów musi wiedzieć, czy jedne akcje faktycznie umożliwiają inne, czy tylko występują w określonej kolejności z przyczyn, których nie obserwujemy bezpośrednio.
Team opracował framework FedCausalCompose, który identyfikuje rzeczywiste zależności przyczynowe między modułami poprzez analizę tego, jak odpowiadają one na interwencje. Badania teoretyczne pokazały, że zwykłe modele obserwacyjne napotykają nieusuwalne błędy podczas planowania, gdy istnieją nieobsłużone ścieżki przyczynowe, natomiast modele kauzalne mogą to przezwyciężyć, jeśli mają wystarczającą wiedzę o odpowiedziach systemu na konkretne akcje.
Ważne odkrycie dotyczy kontekstu, w którym te podejścia faktycznie pomagają. Modele kauzalne okazały się najbardziej przydatne w środowiskach ze strukturalnymi narzędziami i API, gdzie sygnatury funkcji wyraźnie definiują warunki wstępne i skutki. Natomiast w zadaniach dialogowych czy narracyjnych agenty często ignorują informacje o strukturze przyczynowej, chyba że zostaną wyraźnie zaakcentowane w kontekście. To sugeruje, że kauzalne modele świata to nie wszechstronny lekarstwo, ale raczej specjalizowana optymalizacja dla określonych typów problemów.