Tradycyjne duże modele językowe działające w trybie autoregresyjnym są nieefektywne podczas wnioskowania, ponieważ generowanie każdego tokena wymaga dostępu do wszystkich parametrów modelu, co skutkuje niską intensywnością operacyjną i wysokim zużyciem energii. Zaproponowane neuromorphiczne modele dyfuzji (N-MDLMs) łączą dwa klucze mehanizmy - block diffusion pozwala generować wiele tokenów przy każdym dostępie do parametrów, a spike-based computation redukuje rzeczywisty ruch danych poprzez pomijanie nieaktywnych kanałów.
Kluczową innowacją jest synergia między sparsity a dyfuzją. Naukowcy opracowali model analityczny wzorowany na roofline model, który oddaje połączony wpływ block-parallel generation i spike sparsity na efektywność dekodowania. Wykorzystanie neuromorphicznych obliczeń opartych na impulsach wprowadza naturalną sparsity - neurony impulsowe są aktywne rzadko, co oznacza, że wiele obliczeń można pominąć bez wpływu na jakość.
Wyniki eksperymentów na zadaniach tłumaczenia pokazują, że N-MDLMs osiągają znaczące poprawy w efektywności energetycznej i przepustowości nawet na platformach compute-bound, gdzie tradycyjne masked diffusion models nie byłyby w stanie poprawić wyników w stosunku do autoregresyjnych LLM-ów. To podejście adresuje fundamentalny problem - niską operacyjną intensywność podczas wnioskowania, która jest wąskim gardłem dla energooszczędnego działania dużych modeli.