Naukowcy z arXiv opublikowali artykuł wprowadzający koncepcję Graded Large Language Models (GLLMs), algebraicznego frameworka, który dodaje hierarchiczną strukturę do transformerów. Idea polega na wyposażeniu przestrzeni reprezentacji w gradację, czyli system ważenia, który jest następnie propagowany przez wszystkie kluczowe komponenty modelu: embeddingi słów, mechanizm self-attention oraz funkcję straty podczas treningu. Wszystko to dzieje się bez zmiany podstawowych właściwości modelu - zachowuje się pełną moc ekspresji, asymptotyczną złożoność obliczeniową i koszty wnioskowania.
Teoria opiera się na geometrii niezmienniczej i dostarcza formalnych narzędzi do analizy hierarchii. Zespół wykorzystuje funkcjonał Kempfa-Nessa do mierzenia korzyści z danej gradacji, a optymalnych gradacji szuka jako punktu przecięcia dwóch map momentów, które można wyrazić w zamkniętej formie. Kluczowe odkrycie: zwykły transformer bez gradacji okazuje się być jedynie semistabilnym punktem granicznym - członkiem znacznie większej rodziny architektur gradowanych, a nie szczególnym optymalnym rozwiązaniem.
Badania pokazują również powerną matematyczną separację między modelami z gradacją a bez niej, zwłaszcza dla hierarchicznych celów treningowych. Na konkretnym oknie rozmiarów próbek ryzyka dwóch klas zadań - z gradacją i bez - oddalają się od siebie w tempie wykładniczo malejącym wraz z liczbą poziomów hierarchii. To teoretyczne odkrycie sugeruje, że prawidłowo dobrana gradacja może istotnie poprawiać efektywność próbek w nauce języka.