Badacze zaprezentowali CARE-LoRA, metaodę redukcji zużycia pamięci podczas fine-tuningu wielkich modeli językowych za pośrednictwem LoRA. Problem, który rozwiązują, jest konkretny: choć LoRA zmniejsza liczbę parametrów podlegających trenowaniu poprzez optymalizację tylko niskorangowych macierzy adaptacji, pozostałe aktywacje przechowywane dla backpropagacji stanowią główne wąskie gardło pamięciowe.
CARE-LoRA wykorzystuje wewnętrzną strukturę projekcji LoRA w sprytny sposób. Zamiast zachowywać pełne wejściowe aktywacje, zastępuje je niskorangowymi kompresowanymi aktywacjami naturalnie generowanymi przez gałąź LoRA. Jednocześnie oblicza lekką macierz rekonstrukcji podczas przejścia w przód z znikomo małym dodatkowym kosztem obliczeniowym, którą następnie używa podczas backpropagacji do rekonstrukcji sygnału gradientu. Dzięki temu macierze LoRA pozostają w pełni trenowalne.
Eksperymentalnie wykazano, że CARE-LoRA osiąga wyniki konkurencyjne lub nawet lepsze od standardowego LoRA i jego wariantów, jednocześnie znacznie zmniejszając całkowity ślad pamięciowy. Kod metody został udostępniony publicznie, co otwiera możliwości stosowania jej w praktyce dla zespołów trenujących modele na sprzęcie z ograniczonymi zasobami.