Badacze z arXiv opublikowali pracę dotyczącą przyspieszenia inferencji dużych modeli językowych na GPU-ach poprzez inteligentne wykorzystanie rzadkości w macierzach wag. Problem w tym, że dotychczasowe jądra GPU do mnożenia macierzy rzadkich nie potrafiły wyprzedzić tradycyjnych gęstych implementacji przy umiarkowanym poziomie sparsity około 50 procent - dokładnie tam, gdzie tekniki pruning mogą działać bez znaczącej straty jakości modelu.
Rozwiązanie polega na trzech warstwach innowacyjnego formatu magazynowania danych. Pierwsza to Sparse-TC layer, która włącza sparse tensor cores do akceleracji operacji. Druga to Slot-Filling layer z algorytmem parallel differential distance do kompresji macierzy i niskokosztowego dekodowania na chipie. Trzecia warstwa to Residual Layer zapewniająca poprawność obliczeń. Na tej podstawie zespół zaprojektował dedykowane jądro GPU, które hybrydowo wykorzystuje zarówno sparse tensor cores jak i zwykłe CUDA cores, efektywnie miksując różne typy obliczeń i nakładając dostęp do pamięci na wykonywaną pracę.
Wyniki eksperymentów pokazują, że to pierwsze rozwiązanie, które rzeczywiście przyspieszył operacje na GPU z szybką pamięcią wysokowydajną w porównaniu z implementacją gęstą. Kernel osiąga przyspieszenie do 1,64x nad SpInfer (najlepsza publikacja na EuroSys 2025) i 1,41x na całym systemie nad FlashLLM z VLDB 2024. Kod jest dostępny publicznie na GitHub, co otwiera drogę dla szerszego wdrożenia ekonomiczniejszej inferencji LLM w produkcji.