Naukowcy przedstawili nowy podejście do problemu polegającego na tym, że sztywne maskowanie tokenów w Grammar Constrained Decoding zniekształca prawdopodobieństwo wyników modelu. Podczas gdy maskowanie zapewnia syntaktyczną poprawność, zmusza język model do faworyzowania suboptimalnych, choć ważnych wyników. Z kolei online sampling przywraca naturalny rozkład, ale wymaga kosztownego iteracyjnego przesamplingowania.
Klucz do rozwiązania leży w obserwacji, że parser i lexer wykorzystywane do inkrementalnego parsowania już zawierają wszystkie niezbędne informacje o przyszłej ważności gramatycznej. Autorzy zaproponowali lekką metodę offline'owej korekcji logitów, która kondycjonuje wyniki na stanach syntaktycznych i leksykalnych oraz kandydatach na kolejny token. Ponieważ obliczanie tych stanów jest już konieczne dla maskowania, ekstrahowanie ich nie dodaje praktycznie żadnego narzutu obliczeniowego, a wagi bazowego modelu pozostają całkowicie niezmienione.
W testach na różnych gramatykach metoda znacznie zmniejsza dystans między zdestabilizowanym rozkładem a prawdziwym rozkładem modelu, konsekwentnie przewyższając zarówno tradycyjne maskowanie, jak i online sampling. Nawet najlżejszy wariant, bazujący wyłącznie na kandydacie na kolejny token, osiąga rezultaty równe lub lepsze od obu podejść - sam token niesie w sobie implicytny lookahead, podobnie jak w parsingowaniu.