Modele AI popełniają błędy w klasycznych zagadkach logicznych i testach inteligencji, którymi są łatwo pokonywane przez ludzi. Badacze z MIT Tech Review przeanalizowali, gdzie największe modele AI się potykają, aby zidentyfikować fundamentalne różnice między ludzkim a sztucznym myśleniem. Okazuje się, że choć capacities sieci neuronowych rosną wykładniczo, to paradoksalnie niektóre najprostsze dla człowieka zadania pozostają dla nich wyzwaniem.
Postęp jest jednak spektakularny. Pod koniec 2024 roku zespół naukowców z Columbia University wykazał, że nawet najlepsze dostępne modele potrafiły rozwiązać tylko 18 procent słynnych puzzle'ów New York Times Connections. Zaledwie kilka miesięcy później, w początkach 2025, niektóre modele osiągały prawie idealne wyniki w tych samych zagadkach. To pokazuje szybkość, z jaką ewoluuje sztuczna inteligencja. Gry i puzzle'e zresztą od początku stanowiły testownia dla AI - od algorytmu Arthura Samuela nauczającego się grać w warcaby w 1959 roku, przez szachy aż do gry w Go.
Ale ta historia ma drugi wymiar. Wizualne puzzle'e wciąż są szczególną piętą achillesową dla modeli, a subtelne zmiany w klasycznych zagadkach regularnie je dezorientują. Czasem wystarczy zmienić jedno słowo w zagadce, aby model, który doskonale radził sobie z wersją oryginalną, całkowicie się pogubił. To ujawnia, że dzisiejsza sztuczna inteligencja opiera się bardziej na pamiętaniu wzorców z danych treningowych niż na rzeczywistym logicznym myśleniu. Obserwacja tych różnic pomiędzy tym, co modele robią dobrze, a tym, gdzie zawodzą, daje naukowcom cenny wgląd w to, jak działają współczesne sieci neuronowe i gdzie tkwią ich głębokie ograniczenia.