Naukowcy przedstawili Polestar, innowacyjny framework do optymalizacji inferencji diffusyjnych dużych modeli językowych. Problem polega na tym, że dotychczasowe podejścia borykają się z dwoma znaczącymi wyzwaniami: bidirectional attention uniemożliwia efektywne ponowne wykorzystanie cache'u KV, a zwiększenie równoległości dekodowania ze statycznymi progami ufności może obniżyć jakość generowanego tekstu. Zespół odkrył, że obie te kwestie wynikają z tego samego zjawiska - gdy modele dekodują tokeny, reprezentacje tych tokenów "driftują", czyli zmieniają się na kolejnych krokach dekodowania ze względu na bidirectional attention.
Rozwiązanie Polestar dzieli się na dwa komponenty. Polestar-Cache identyfikuje przestarzałe pozycje w KV-cache poprzez obserwację driftu i przeprowadza rzadkie odświeżania cache'u, umożliwiając jego efektywne ponowne użycie. Polestar-Commit wykrywa ostre zdarzenia driftu, aby wiarygodnie zidentyfikować tokeny gotowe do zacommitowania. Framework działa bez dodatkowego treningu, co znacznie ułatwia jego praktyczne wdrożenie.
Na benchmarkach dotyczących matematyki i kodowania dla kilku rodzin dLLM-ów Polestar osiąga nowy standard na froncie dokładności i przepustowości. Rezultaty pokazują do 10.73% poprawę dokładności, do 3.7x wyższą przepustowość oraz wysoką równoległość dekodowania wynoszącą 3.67 tokena na przejście, znacznie przewyższając istniejące rozwiązania. To oznacza praktyczną ścieżkę do znacznie szybszej inferencji bez utraty jakości generowanych tekstów.