Naukowcy z arXiv zaprezentowali Token Time Continuous Diffusion, nową metodę modelowania języka opartą na dyfuzji, która przemieniać szum Gaussa w sekwencję tokenów bez potrzeby wielokrotnego próbkowania. Kluczową innowacją jest wprowadzenie per-tokenowych czasów - każdy token może przechodzić od szumu do ostatecznej formy w innym tempie, co pozwala pewnszym elementom przyspieszać się względem bardziej niepewnych.
Tradicyjne modele dyfuzji pracujące w przestrzeni dyskretnej mają problem z paralelnym generowaniem wielu tokenów jednocześnie, co prowadzi do błędów przy wysokim przyspieszeniu. TTCD rozwiązuje to operując w przestrzeni ciągłej, gdzie transformacja przebiega deterministycznie bez dodatkowego próbkowania. Różnicowanie czasów między tokenami umożliwia też lepsze modelowanie wpływów między nimi podczas procesu rafinacji.
Model o pojemności 160M parametrów został wytrenowany na OpenWebText i poddany samoodnawianiu. W testach porównawczych przy wysokich przyspieszeniach TTCD dorównuje istniejącym modelom dyskretnym o podobnej wielkości w bezwarunkowym generowaniu tekstu, ale znacząco je przewyższa w generowaniu warunkowym. Podobne wzrosty wydajności zaobserwowano też w zadaniach rozwiązywania Sudoku, co sugeruje uniwersalność podejścia.