Naukowcy opracowali ReCoLoRA - nową metodę do ciągłego dostrajania wielkich modeli językowych, która rozwiązuje problem katastrofalnego zapominania poprzednich zadań. Problem polega na tym, że tradycyjne metody LoRA dodają kolejne niskorangowe adaptacje na tych samych zamrożonych wagach, powodując że nowe zadania nadpisują poprzednie. ReCoLoRA zamiast tego rekursywnie konsoliduje wagi, inicjalizując adaptery z randomizowanego SVD oryginalnych wag i wybierając efektywne rangi dla każdej warstwy przy użyciu kryterium łokcia.
Kluczową innowacją jest podejście do rekursywnej konsolidacji: przed każdym nowym zadaniem metoda rozkłada aktualną efektywną wagę (a nie oryginalną) na trzy komponenty - zamrożoną resztę, powoli aktualizowaną główną część i świeży adapter. Dzięki temu każde nowe zadanie zaczyna od modelu, który już wchłonął wiedzę ze wszystkich poprzednich zadań. Framework jest spektralno-uświadomiony, co oznacza że wykorzystuje wiedzę o strukturze widmowej wag do lepszej alokacji pojemności modelu.
W eksperymentach na sekwencji sześciu zadań GLUE z czterema modelami backbonowymi (7-8B parametrów) ReCoLoRA osiągnęła najlepsze wyniki końcowe na trzech z czterech backbonów w porównaniu z rank-swept LoRA, PiSSA, AdaLoRA i DoRA. Istotne jest że trening wymagał mniejszej liczby parametrów niż konkurencyjne podejścia. Kodeks metody został udostępniony jako open source, co umożliwi dalsze badania nad efektywnym continual learning w dużych modelach.