Naukowcy opracowali OmniToM, nowy test mający sprawdzić, czy duże modele językowe rzeczywiście potrafią zrozumieć, jakie przekonania i intencje mają inne podmioty. Benchmark wprowadza jawne modelowanie stanów mentalnych - zamiast polega na domniemaniach, test wprost wymaga od modeli śledzenia i przewidywania, co myśli i czego oczekuje dany agent w konkretnym scenariuszu. To znaczący krok w ocenie zdolności poznawczych obecnych AI, bo poprzednie testy Theory of Mind były mniej precyzyjne i mogły nie wychwytywać rzeczywistych braków w zrozumieniu stanów psychicznych.
Theory of Mind - umiejętność przypisywania przekonań, pragnień i wiedzy innym osobom - to fundament naturalnej i bezpiecznej komunikacji między AI a ludźmi. Jeśli model nie rozumie, że ktoś coś wierzy, chociaż inaczej jest w rzeczywistości, lub nie potrafi przewidzieć, jak człowiek zareaguje na nową informację biorąc pod uwagę jego dotychczasową wiedzę, może podjąć niebezpieczne lub niesensowne decyzje. Dlatego właśnie ścisłe mierzenie tej zdolności ma kluczowe znaczenie, szczególnie gdy AI coraz częściej pełni role wymagające głębszego rozumienia kontekstu społecznego i psychologicznego interakcji.
OmniToM pozwala badaczom przejść poza powierzchowne sprawdzenia i naprawdę ocenić, czy model ma wewnętrzny model umysłu drugiej strony, czy tylko udaje na podstawie wzorców z danych treningowych. Takie narzędzia są niezbędne dla bezpiecznego rozwoju sztucznej inteligencji i coraz bardziej złożonych systemów AI, które będą wspierać ludzi w decyzjach wymagających zrozumienia psychologii i społecznych dynamik.