Naukowcy z arXiv wprowadzili Unified LoRA (ULoRA), uogólnioną rodzinę metod inicjalizacji adapterów LoRA, która łączy dotychczasowe rozdzielne podejścia w spójny kontinuum rządny dwoma parametrami: wykładnikiem wybielania spektralnego i wykładnikiem zbliżonym do Adam. Badania wykazały że różne popularne schematy inicjalizacji - od projekcji surowego gradientu na jego główne kierunki po warianty uwzględniające krzywiznę funkcji straty - są zaledwie punktami na tym kontinuum, a często optymalne rozwiązanie leży gdzieś pośrodku, a nie w publikowanych dotychczas punktach końcowych.
Kluczowe odkrycie polega na tym że najlepsze ustawienia prewarunkowania nie są uniwersalne: każde zadanie preferuje inny punkt w tej przestrzeni parametrów. Gdy autorzy przeprowadzili wyczerpujące przeszukiwanie dla wszystkich wartości parametrów, ich konfiguracja ULoRA zoptymalizowana na górze tej rodziny dorównała lub przewyższyła pełny fine-tuning na wszystkich pięciu zadaniach GLUE z RoBERTa-base i wykazała konkurencyjność wobec najsilniejszych baseline'ów na benchmarku GSM8K z LLaMA-2-7B.
Praktycznie, autorzy zaproponowali wariant bez przeszukiwania - ULoRA-Auto - który automatycznie wybiera wykładniki dla każdej warstwy na podstawie zmierzonych statystyk spektralnych. Ta metoda zbliża się do osiągów optymalnej konfiguracji bez dodatkowych kosztów przeszukiwania, zajmując miejsce w czołówce wśród deployowalnych metod LoRA. Wyniki sugerują że zrozumienie przestrzeni projektowania LoRA wymaga spojrzenia na inicjalizację i prewarunkowanie krzywizną jako na spójny, ciągły problem optymalizacyjny, a nie jako na wybór między oddzielnymi technikami.