Po raz pierwszy w kontekście neuronowej kompresji tekstowej bezstratnej naukowcy proponują diffusion language models jako alternatywę dla autoregresyjnych podejść opartych na LLM-ach. Dotychczasowe neuronowe metody kompresji - zarówno te oparte na symbol-ranking pipeline'ach, jak i sparowane ze statystycznymi kompressorami - osiągają znacznie lepsze wskaźniki kompresji niż uniwersalne programy takie jak zstd, gzip czy bzip2. Problem polega jednak na ekstremalnie niskiej przepustowości: autoregresyjne LLM-y przetwarzają symbole jeden za razem, co czyni te rozwiązania niepraktycznymi do rzeczywistego użytku mimo doskonałych wyników kompresji.
Diffusion language models mogą przezwyciężyć to wąskie gardło dzięki fundamentalnie innemu podejściu do generowania tekstu. Zamiast przewidywać symbole sekwencyjnie, DLM-y mogą kodować wiele symboli jednocześnie w ramach jednego forward passa. To teoretycznie pozwoliłoby na znaczne przyśpieszenie procesu kompresji. Jednak zastosowanie DLM-ów do kompresji bezstratnej wprowadza nowe wyzwania algorytmiczne - architektura musi radić sobie z niezależnym wyborem liczby i pozycji symboli kodowanych w każdym kroku.
Badacze opracowali efektywne strategie do rozwiązania tych problemów i przeprowadzili eksperymenty porównujące swoje podejście zarówno z LLM-kowymi, jak i uniwersalnymi kompresotami na zbiorze danych enwik8. Jeśli wyniki potwierdź potencjał metody, mogłoby to oznaczać przełom w praktycznym stosowaniu neuronowych technik do przechowywania i transmisji danych tekstowych i kodu źródłowego.