Zespół badawczy wprowadził LoRA-Diffusion, nową metodę parameter-efficient fine-tuning dla modeli języka opartych na dyfuzji, która zamiast modyfikować wagi modelu, uczy się perturbacji niskiego rzędu dla całej ścieżki od szumu do wyniku. Podejście to wykorzystuje adaptery na poziomie trajektorii, które modyfikują każdy krok denoizacji, oraz adaptacyjną alokację rangu w różnych fazach dyfuzji.
Dotychczasowe metody typu LoRA odnosiły sukces w dostrajaniu dużych modeli autoregresywnych, ale nie mogły być bezpośrednio przeniesione na modele dyfuzji, które generują tekst przez iteracyjne usuwanie szumu zamiast sekwencyjnego przewidywania tokenów. Nowe podejście rozwiązuje ten problem, oferując alternatywę do tradycyjnego fine-tuningu, który wymaga dostrajania wszystkich parametrów modelu. LoRA-Diffusion zmniejsza wymagania dotyczące przechowywania parametrów dla każdego zadania.
Według badań, metoda osiąga najwyższe średnie wyniki na benchmarku SST-2 oraz silne wyniki na QNLI i MRPC. Kluczową zaletą jest możliwość łączenia modułów zadań na poziomie wnioskowania bez konieczności ponownego trenowania, co otwiera nowe możliwości dla wielozadaniowego uczenia. To istotny krok ku praktycznemu wdrożeniu dużych modeli dyfuzji w aplikacjach biznesowych.