Startup'y Elorian i Scale AI stworzyli nowy benchmark Humanity's Sixth Sense, który mierzy zdolność modeli AI do interpretacji i rozumowania na temat informacji, które scena wizualna implikuje, ale nie pokazuje wprost. Zadania testują cztery kategorie umiejętności: dynamikę czasową i przyczynową (co się działo przed i co będzie dalej), logikę fizyczną i przestrzenną (co się mieści, co jest w zasięgu), rozumienie społeczne (intencje, uwagę) oraz wnioskowanie abstrakcyjne i kontekstowe.
Benchmark zawiera 522 pytania rozłożone na 288 obrazach i 234 klipach wideo o łącznym czasie 17,6 godziny. Ludzie uzyskują tutaj bardzo wysokie wyniki - średnie 93,1 procent, z rozbiciem na kategorie: obrazy 94,1 procent, video 91,9 procent, czas 97 procent, przestrzeń 94,9 procent. Dla porównania najlepiej radzące sobie modele AI osiągają około 65 procent, co ujawnia znaczną lukę w intuicyjnym rozumowaniu wizualnym.
Wyniki pokazują, że obecne systemy AI mają problemy z rzeczami, które ludzie rozumieją naturalnie - na przykład czy chains mogą wytrzymać ciężar pługa ciągnięty przez konie. To ma praktyczne znaczenie dla zastosowań AI w robotyce, autonomicznych pojazdach i innych domenach wymagających głębszego rozumienia świata fizycznego.