Naukowcy porównali, w jaki sposób zaawansowane modele języka i ludzie przewidują kolejne słowo podczas czytania, używając do tego zapisów elektrycznej aktywności mózgu z elektroencefalografii (EEG). Choć modele osiągnęły dokładność zbliżoną do ludzkiej w zadaniu predykcji, zespół postanowił sprawdzić, czy tak naprawdę działają jak ludzki mózg na poziomie poznawczym.
Badacze analizowali potencjały związane z zdarzeniami (ERP) z nagrań EEG, które odzwierciedlają różne etapy przetwarzania informacji podczas czytania. Sprawdzili, czy zmienniki oparte na dwóch miarach - przewidywaniu top-1 (najprawdopodobniejsze słowo) i surprisal (nieoczekiwaność słowa) - potrafią przewidzieć wzorce aktywności mózgu. Okazało się, że przede wszystkim surprisal wykazuje korelację z neuronalną aktywnością podczas przetwarzania języka, a szczególnie silnie dla słów pełnowartościowych o wysokim zawartości semantycznej.
Wyniki pracy podważają popularne przekonanie, że zwykłe skalowanie modeli - dodawanie parametrów i większej mocy obliczeniowej - automatycznie sprawia, że działają coraz bardziej jak ludzki mózg. Sugeruje to, że konwergencja między modelami AI a ludzkimi procesami poznawczymi wymaga bardziej złożonego podejścia niż sama architektura i skala treningu.