Badacze z zakresu AI opracowali nową metodę diagnostyczną o nazwie interventional grounding audits, która testuje, czy modele językowe takie jak GPT-4o rzeczywiście polega na swoich logicznych przesłankach przy generowaniu łańcuchów rozumowania. Zamiast passywnie obserwować odpowiedzi modelu, naukowcy interweniują w jego logikę poprzez zastąpienie predykatów w przesłankach nowymi symbolami i sprawdzają, czy zmienia się rezultat - jeśli zmiana przesłanki nie wpływa na wyjście, oznacza to, że model jej w rzeczywistości nie używa.
Metodę przetestowano na benchmark ProntoQA zawierającym 50 wieloetapowych problemów dedukcyjnych z znanymi poprawnymi drzewami dowodowymi. GPT-4o osiągnął F1 = 0,806 w wykrywaniu zależności dowodowych, wyraźnie pokonując dotychczasową metodę self-consistency baseline, która uzyskała zaledwie F1 = 0,343. Jeszcze bardziej imponujące jest osiągnięcie recall = 100%, co oznacza, że metoda nie przegapiła żadnego warunkowego wariantu.
Najważniejsze odkrycie dotyczy ukrytego problemu w rozumowaniu LLM: aż 66% poprawnie rozwiązanych problemów zawierało przynajmniej jeden krok, w którym model nie zależał od istniejącej zależności logicznej - zjawisko zwane "right answer, wrong reasoning". Problem koncentruje się wokół przesłanek wprowadzających nowe entity, które są niewidocznym punktem słabości dla dotychczasowych metod oceny. Badacze udostępnili pełne wyniki, kod i skrypty do reprodukcji na GitHubie, choć zaznaczają ograniczenia metodyki dla benchmarków poza formalnym, parsowanym rozumowaniem.