ReCoLoRA to nowa metoda dostrajania wydajnej parametrowo (parameter-efficient fine-tuning) dla sequencji zadań, która rozwiązuje fundamentalny problem skalowania podejść LoRA. Tradycyjne metody LoRA-style chronią oryginalne wagi i dodają low-rank adaptry, ale gdy przychodzą kolejne zadania, nowe adaptry nadpisują poprzednie, co powoduje zapomnienie (catastrophic forgetting) pierwszych zadań. ReCoLoRA zmienia to podejście poprzez rekursywną konsolidację: przed każdym nowym zadaniem metoda rozkłada bieżące efektywne wagi (nie originalne) za pomocą randomizowanej SVD, a następnie dzieli je na trzy komponenty - zamrożoną rezydualną część, powoli aktualizowaną składową główną i świeży adapter dla nowego zadania.
Klucz stanowi świadomy spektralnie wybór rang dla każdej warstwy poprzez kryteria elbow, co pozwala modelowi efektywnie alokować dostępną pojemność. Na testach z sekwencją sześciu zadań GLUE na czterech backbonach wielkości 7-8B miliardów parametrów ReCoLoRA osiągnęła najlepsze średnie wyniki na trzech z czterech modeli, jednocześnie trenując znacznie mniej parametrów niż konkurencyjne podejścia jak LoRA, PiSSA, AdaLoRA czy DoRA.
Znaczenie tego podejścia leży w praktyczności - dostrajanie dużych modeli na kolejne zadania bez zapominania poprzednich jest krytyczne dla systemów rzeczywistych. ReCoLoRA utrzymuje efektywność parametryczną, co czyni ją potencjalnie przydatną dla wdrażania na urządzeniach z ograniczonymi zasobami. Autorzy udostępnili kod, co powinno przyspieszyć adopcję metody w społeczności.