Naukowcy z arXiv zaproponowali nową perspektywę na ocenę zdolności generalizacji systematycznej modeli AI, ujawniając istotne braki w obecnych metodach testowania. Przywołali pojęcie generalizacji systematycznej - zdolności rozwiązywania nowych problemów poprzez rekombinowanie znanych elementów - i pokazali, że dotychczasowe testy upraszczają to zagadnienie w sposób ukrywający rzeczywiste słabości sztucznej inteligencji.
Team stworzył testbed o nazwie TranSGrid, który integruje trzy typy rozumowania: dedukcyjne, indukcyjne i abdukcyjne w ramach jednego ujednoliconego zadania. Eksperymenty z siedmioma modelami Transformer na 4800 instancjach TranSGrid wykazały dramatyczną różnicę wydajności. Największy model osiągnął 79,6% poprawności na tradycyjnym zbiorze testowym, ale spadł do 55,3% na TranSGrid, a zaledwie 15,8% na najtrudniejszym podzbiorze. Kluczowym odkryciem jest to, że sama produktywność - czyli rozpatrywana dotychczas główna miara - nie wystarczy do oceny rzeczywistej generalizacji systematycznej. Gdy naukowcy przywrócili uproszczenia do TranSGrid, takie jak prawie liniowa kompozycja działań lub jawne cele, wyniki modeli wróciły do poziomu standardowych testów, co potwierdza, że każde z tych uproszczeń znacząco ułatwia zadanie i maskuje fundamentalne problemy z rozumowaniem.
To badanie ma istotne znaczenie dla zrozumienia limitów obecnych modeli językowych. Pokazuje, że nawet zaawansowane Transformers nie radzą sobie dobrze z integracją różnych typów logicznego wnioskowania, co jest potrzebne do rzeczywistej adaptacji do nowych sytuacji. Wnioski sugerują konieczność przeprojektowania sposobu, w jaki oceniamy zdolności AI, oraz mogą wpłynąć na kierunek przyszłych badań nad bardziej rozumnym sztucznym intelektem.