Zespół badawczy stworzył SciReC - benchmark do oceny wydajności multimodalnych dużych modeli językowych w zadaniach relacyjnego rozumowania, czyli zdolności do porównywania i integracji relacji między koncepcjami. To nie tylko prosta klasyfikacja - relacyjne rozumowanie obejmuje wiele kategorii, od analogii i struktury po zależności przyczynowo-skutkowe, każda reprezentująca inny aspekt głębszego rozumienia.
W testach Claude 4.6 osiągnął najlepszy wynik z 73 procentami na skali relacyjnego rozumowania, wyprzedzając GPT 5.4 z wynikiem 68 procent. Odkryte wzorce wskazują na interesujące różnice między typami modeli: modele open-source wypadają najgorzej przy relacjach przestrzennych, podczas gdy modele proprietary borykają się bardziej z relacjami hierarchicznymi i sekwencyjnymi. W podziale na dziedziny nauki modele osiągały najniższe wyniki w astronomii, a najwyższe w psychologii.
Naucownicy zaproponowali także DMRA - framework diagnostyczny oparty na analizie deficytów - który pozwala zidentyfikować, gdzie konkretnie modele zawodzą. Wyniki wskazują, że problemy z samym relacyjnym rozumowaniem stanowią główne źródło błędów wszystkich testowanych modeli, wyprzedzając ograniczenia pamięci jako czynnik drugorzędny. To sugeruje, że nie wystarczy modelom więcej pamięci, ale potrzebne są fundamentalne ulepszenia w architekturze umożliwiającej głębsze rozumowanie.