Badacze ujawnili fundamentalny problem w sposobie, w jaki współczesne modele dyfuzji do generacji tekstu (MDLMs) mieszają predykcje tokenów. Dotychczasowe metody używały liniowej interpolacji (LERP) w surowej przestrzeni embeddingów, co zakładało euklidesową geometrię. Jednak analiza rzeczywistych modeli wykazała coś zupełnie innego - przestrzeń embeddingów ma strukturę hipersfery, gdzie kąt między wektorami masek a predykcjami pozostaje niemal stały na poziomie około 73 stopni niezależnie od etapu treningu.
Na tej podstawie zespół zaproponował Spherical Soft-Masking (S-SM), metodę która zastępuje liniową interpolację sferyczną (SLERP). Nowe podejście najpierw agreguje top-k predykcji za pomocą średniej Frécheta na hipersfere, a następnie miesza ją z kierunkiem maski przy użyciu sferycznej interpolacji liniowej, przywracając natywną normę maski. Eksperymenty przeprowadzone na checkpoincie MDLM-a z 169M parametrów wykazały imponujące rezultaty - metoda S-SM unika degradacji treningu indukowanej przez LERP i osiąga wzrost metryki MAUVE nawet 2x w porównaniu z baseline'em oraz 27.5-56.1% lepsze wyniki niż istniejące metody TopK/LERP przy różnych budżetach samplingowych.
Znaczenie tego odkrycia wykracza poza samo poprawienie liczb - pokazuje, że prawidłowe zrozumienie geometrii przestrzeni reprezentacji jest kluczowe dla optymalizacji modeli. Konsekwencją może być całe spectrum podobnych błędów w innych architekturach, gdzie błędnie zakładano euklidesową strukturę przestrzeni, kiedy inne geometrie mogą być bardziej adekwatne. To typowe badanie fundamentalne, które może wpłynąć na projektowanie przyszłych modeli diffuzyjnych.