Jak wybrać rangę LoRA do fine-tuningu modeli dyfuzji - badanie kompromisów

Nowe badanie z arXiv analizuje, jak dobór rangi LoRA wpływa na balans między jakością fine-tuningu a kosztami obliczeniowymi w modelach dyfuzji. Naukowcy przeprowadzili kontrolowane eksperymenty na DDPM U-Net z zestawem danych CIFAR-10, testując rangi 2, 4, 8, 16 i 32 w stałych warunkach optymalizacyjnych, mierząc FID (Frechet Inception Distance), liczbę parametrów, czas treningu i zużycie pamięci GPU.

Wyniki wyraźnie pokazują, że rangi średnie są najtrafniejsze. Ranga 4 osiągnęła najlepszy FID wynoszący 124.1380, zaś ranga 8 byla nieznacznie gorsza z wynikiem 124.2136. Wyższe rangi (16 i 32) nie przyniosły istotnych popraw jakości, ale drastycznie zwiększyły koszty pamięciowe i obliczeniowe. Wnioski zostały zweryfikowane na dłuższych treningach (20 epok) oraz przy użyciu alternatywnego backbone'u Tiny DiT.

To badanie ma praktyczne znaczenie dla wszystkich, którzy dostrajają modele dyfuzji w ograniczonych środowiskach obliczeniowych. Zalecenie przyjęcia małych-średnich rang jako domyślnych ustawień ułatwia podejmowanie decyzji projektowych i zmniejsza marnotrawstwo zasobów GPU bez straty jakości generowanych obrazów.