Zespół naukowców wprowadził TurboMamba - nową architekturę modelu językowego, która łączy szybkość treningu i inferencji z lepszą jakością przewidywania tokenów. Architektura opiera się na globalnym modelu Mamba-3, który przetwarza tok raz na zakonczony blok tokenów, a następnie mały Transformer wykorzystuje ten kontekst globalny oraz wcześniejsze tokeny z bloku do przewidzenia następnego tokenu. Dodatkowo model zawiera trzy lekkie usprawnienia: bezpośredni dostęp do ostatniego tokenu poprzedniego bloku, małą korektę wyników dla następnego tokenu oraz nauczoną mieszankę z częstościami ostatnich tokenów.
Eksperymenty porównujące dwanaście implementacji na zbiorze FineWeb-Edu pokazały znaczące przewagi TurboMamby. Model osiąga najniższą średnią stratę predykcji (NLL) spośród wszystkich porównywanych architektur - 9,4 procent niższą od Mamba-3, 7,3 procent od Jamby i 18,3 procent od Zamby. Różnice w wydajności są imponujące: przepustowość treningu end-to-end jest 2,6-krotnie wyższa niż u Mamba-3 i aż 4,82-krotnie wyższa niż u Zamby. W pomiarach latencji inferencji na batchu 32 sekwencji z prompem 256 tokenów TurboMamba uzyskuje 3,12-krotne przyspieszenie nad Mamba-3 i 6,21-krotne nad Zambą.
To osiągnięcie ma znaczenie praktyczne dla wdrażania dużych modeli językowych w rzeczywistych aplikacjach. Połączenie szybszego treningu, szybszej inferencji i lepszej jakości predykcji może zmienić rachunek ekonomiczny dla osób wdrażających LLM, szczególnie w scenariuszach wymagających niskich opóźnień i wysokiej przepustowości.