Naukowcy zaproponowali maskowane modele dyfuzji języka jako alternatywę dla autoregresyjnych modeli służących do symulacji stanów środowiska w systemach reinforcement learning. Tradycyjne modele autoregresyjne działają sekwencyjnie od lewej do prawej, co uniemożliwia im warunkowanie na globalnie zależnych kotwicach stanu, takich jak schematy narzędzi, poprzednie tury konwersacji czy oczekiwane rezultaty. MDLMs rozwiązują ten problem poprzez bidirectionalne denoizowanie, pozwalając na bardziej koherentne i ugruntowane generowanie stanów.
Badacze stworzyli dataset zawierający 239403 trajektorie stan-akcja z dziewięciu środowisk open-source i dwunastu rodzin modeli frontierowych. W porównaniu empirycznym MDLM wykazały lepsze rezultaty niż modele LLM o 4 razy większej liczbie parametrów, jednocześnie utrzymując porównywalną latencję wnioskowania. Kluczowym osiągnięciem jest znacznie wyższa różnorodność zarolek, co jest krytyczne dla unikania mode collapse - problemu, gdzie modele uciekają się do powtarzających się schematów lub struktur narzędziowych.
Badacze wprowadzili również framework GRPO do treningu z deterministycznymi weryfikacjami stanów. Wyniki zero-shot transferu na trzech środowiskach poza rozkładem (ScienceWorld, ALFWorld) sugerują, że te modele mogą skutecznie skalować generowanie różnorodnych środowisk treningowych. Takie podejście może fundamentalnie zmienić, jak trenuje się agenty RL, eliminując potrzebę ręcznie tworzenia statycznych środowisk.