Naukowcy z Polymathic AI, Princeton University, USC ISI, NYU i Flatiron Institute opublikowali FlashMap - specjalistyczną metodę do przyspieszania dekodowania dużych modeli języka. Zamiast tradycyjnego podejścia opartego na dyskretnej dyfuzji, FlashMap wykorzystuje continuous flow map do tworzenia propozycji tokenów. Kluczową innowacją jest możliwość wygenerowania całego bloku 16 tokenów w jednym forward passie, co radykalnie zmniejsza obliczeniowe koszty speculative decoding.

System jest wdrażany przez drafter o wielkości około 500 milionów parametrów dla Qwen3-8B, który pracuje na tym samym GPU co model główny. Badania wykazały imponujące wyniki - na zbiorze GSM8K osiągnięto przyspieszenie do 6,14x bez utraty dokładności. Chociaż wydajność jest bardziej zmienna w zależności od zadania (od 2,28x przyspieszenia na Alpaca przy wysokiej temperaturze do wyników na poziomie DFlash na niektórych zadaniach w Qwen3-4B), FlashMap pozostaje jednym z najszybszych dostępnych drafterów.

Metoda jest już dostępna w praktycznym wdrożeniu dzięki wrzuceniu wag modelu na platformę Hugging Face oraz integracji z popularnymi frameworkami takimi jak vLLM i SGLang. To oznacza, że deweloperzy mogą natychmiast wdrożyć tę technologię w swoich systemach generowania tekstu, potencjalnie dramatycznie zwiększając przepustowość swoich aplikacji opartych na LLM.