Spektralne przycięcie może poprawiać uczenie w LoRA przy mniejszej utracie wiedzy

Badacze opublikowali pracę na arXiv pokazującą, jak spektralne przycięcie może zmienić sposób, w jaki adaptujemy duże modele poprzez niskorangową adaptację (LoRA). Zamiast ciąć cały model, metoda SCLoRA (Spectral Clipping LoRA) inteligentnie zarządza tym, które komponenty sieci zostaną uaktualnione, a które pozostaną niezmienione.

Kluczowe odkrycie pochodzi z analizy rozkładu wartości singularnych (SVD). Gdy model jest pretrenowany na ogromnych zbiorach danych, jego parametry zawierają zarówno komponenty ogólne, jak i specjalistyczne. Duże wartości singularne reprezentują wiedzę fundamentalną, którą model już posiada i którą można bezpośrednio wykorzystać w nowych zadaniach. Mniejsze wartości singularne zawierają informacje specyficzne dla oryginalnego zadania i to właśnie tam powinny skupić się aktualizacje. Problem pojawia się, gdy wartości singularne w adapterach LoRA rosną bez kontroli - wtedy model zapomina, co wyuczył się wcześniej, czyli dochodzi do katastrofalnego zapominania.

SCLoRA rozwiązuje ten problem, wstrzykując sparametryzowane komponenty singularne z kontrolą spektralną. Eksperymenty wykazały, że podejście to nie tylko poprawia wydajność na nowych zadaniach, ale także efektywnie chroni pretrenowaną wiedzę modelu. To ważne dla praktycznych zastosowań, gdzie modele muszą jednocześnie uczyć się nowych umiejętności bez utraty już posiadanej wiedzy.