Naukowcy z arXiv opracowali nową strategię dla dyskretnych modeli dyfuzji, która zmienia sposób, w jaki model traktuje dane wejściowe podczas generowania tekstu. Zamiast całkowicie ufać kontekstowi jako niezawodnym danym, kombinują absorbuące i mieszające kernele z zmiennymi szybkościami na różnych regionach tekstu - brakujące pozycje podlegają absorbuującym dynamikom, a znany kontekst ulega niskim stopom losowych substytucji.
Podejście polega na tym, że podczas treningu model jest ekspozycja na obserwowane, ale niepewne tokeny, co uczy go rozróżniania między wiarygodnymi i potencjalnie błędnymi fragmentami. Podczas inferencji heurystyczna próbnikka ponownie wstrzykuje szum do podejrzanego kontekstu z zannikaną intensywnością i zamraża aktualizacje w końcowych fazach. Efekty są imponujące dla jednolitej losowej korruptacji - model osiąga recall 0,96 i precyzję 0,91 w wykrywaniu korruptacji, poprawia token-F1 infillingu o 3,8 punktów przy 10% korruptacji i 6,4 punktów przy 20%, oraz całkowicie eliminuje błędy przyczyniane korruptacjami. Ważne, że na czystych danych nie obserwuje się regresji, z wskaźnikiem false-edits poniżej 0,4%.
Trenowanie zajęło zaledwie pięć godzin na GPU z 6 GB pamięci, co czyni to praktyczne dla większości badaczy. Wyniki sugerują, że wykrywalność i uszkodzenia zależą od charakteru korruptacji - dla wiarygodnie wyglądających błędów zyski były słabsze, około 0,5 punktu F1, bez istotności statystycznej. To otwiera nowy design space dla dyskretnej dyfuzji, gdzie binarny model zaufania - lub całkowicie chronić, lub całkowicie zaufać - zostaje zastąpiony bardziej niuansowanym podejściem.