Naukowcy badali jak różne typy modeli językowych radzą sobie z powtarzającymi się słowami - zjawiskiem wszechobecnym w naturalnym języku. Testowali 15 modeli z pięciu rodzin, od 1,5B do 14B parametrów, w dwóch zadaniach: kategoryzacji semantycznej i uzupełnianiu tekstu. Równolegle przeprowadzili identyczne eksperymenty z ludźmi, używając tych samych bodźców.
Modele bazowe wykazały przetwarzanie automatyczne - słowa powtarzające się były przetwarzane szybciej i stabilnie, niezależnie od czasu, jaki upłynął od ich pierwszego pojawienia się. Ta przyspieszenie częściowo przetrwało nawet przy usunięciu kontekstu, co sugeruje, że modele znowu aktywowały wcześniejsze reprezentacje. Natomiast modele instruct przejawały przetwarzanie kontrolowane - ich ułatwienie słabło wraz z odległością powtórzenia i całkowicie się zawalało bez oczekiwanego kontekstu. W skrajnych przypadkach zmieniano się w interferencję, czyli utrudnienie przetwarzania. Ciekawostka: w rodzinie Qwen 2.5 ta rozbieżność rosła monotonicznie wraz ze skalą modelu.
Ludzie wykazali profil hybrydowy - ich przetwarzanie było wrażliwe na dystans czasowy jak w modelach instruowanych, ale bez negatywnego efektu interferencji. To oznacza, że żaden typ modelu nie w pełni oddaje ludzkiej kognicji w tym aspekcie. Wyniki ujawniają jakościową zmianę w sposobie przetwarzania powtarzających się informacji po post-trainingu i dostarczają mechanistycznych dowodów na to, jak drastycznie trening instrukcyjny zmienia zachowanie modeli.