Naukowcy z arXiv przedstawili nową hipotezę Capability Convergence, która podważa pogląd że większa skala modeli automatycznie prowadzi do lepszych możliwości. Zamiast tego capabilities konwergują w stronę architektury hybrydowej - takiej która łączy wydajny kanał O(1)-state do kompresji informacji z skalowalnym kanałem indeksu pełnych danych. Badacze wyznaczyli trzy kluczowe ograniczenia zasobowe zwane murami: Shannon wall (blokujący architektury o stanie mniejszym niż O(Nb)), horizon wall (zakazujący stałe okna) oraz circuit wall (ograniczający attention-only modele przy założeniu TC0 != NC1).
Hipoteza opiera się na konkretnym zadaniu testowym - problemie jabłka Newtona w nieskończonym strumieniu danych - gdzie model musi zarówno zapamiętać ostatnie dane jak i uzyskać dostęp do historii. Penelidować przeprowadzili pierwsze przedrejestrowane eksperymenty na małą skalę z kryteriami ustalonymi przed zbieraniem danych. Rezultaty pokazały spektakularną lukę: model z minimalnym 64-skalarnym stanem osiągnął dokładność retrieval 0.994 (czyli praktycznie bezużyteczny), ale natychmiast skoczył do 0.000 błędu gdy dodali globalną warstwę attention - co potwierdzało ich przewidywania.
Badanie stanowi znaczący przesunięcie w myśleniu o tym jak projektować wielkie modele. Zamiast skupiać się wyłącznie na zwiększaniu liczby parametrów, sugeruje że krytycze jest kombinowanie różnych mechanizmów dostępu do informacji. Artykuł rozróżnia między tym co formalnie udowodniono - granice informacyjno-teoretyczne - a tym co pozostaje spekulacją ekonomiczną na poziomie całej branży.