Naukowcy przedstawili AdaLook, adaptacyjną metodę lookahead dla dekodowania dyfuzyjnych modeli języka, która dynamicznie dostosowuje się do charakteru procesu dekodowania. Podczas gdy maskowane modele dyfuzji umożliwiają równoleglejsze generowanie tekstu niż podejścia autoregresyjne, dotychczasowe metody lookahead opierały się głównie na płytkiej, jednokrokowej strategii, co ograniczało ich efektywność na dłuższych horyzontach.
Hladem głównym stał się problem, że naiwne pogłębianie lookahead nie daje oczekiwanych rezultatów. Stały rollout na ustaloną głębokość dodaje znaczący narzut obliczeniowy bez odpowiedniego wzrostu dokładności, a dekodowanie na każdym etapie generuje zupełnie różne stany pośrednie wymagające indywidualnego podejścia. AdaLook rozwiązuje to poprzez dynamiczne podejmowanie decyzji na podstawie wariancji wyników kandydatów - system automatycznie rozstrzyga, kiedy warto pogłębiać rollout, a kiedy wystarczy przełączyć się na nowy stan. Dodatkowo framework umożliwia ekspansję gałęzi w stanach pośrednich, które wymagają dodatkowej eksploracji, unikając niepotrzebnego pogłębiania w mniej złożonych przypadkach.
Eksperymenty na różnych benchmarkach wykazały, że AdaLook osiąga lepszą równowagę między dokładnością a liczbą kroków dekodowania w porównaniu z istniejącymi jednokrokowymi metodami lookahead. To ma praktyczne znaczenie dla wdrażania dyfuzyjnych modeli języka, gdzie szybkość generacji tekstu jest krytyczna dla praktycznych zastosowań.