Naukowcy zaproponowali nową metodę SAGA, która łączy rzadkie autoencodery ze ograniczeniami geometrycznymi, aby rozwiązać problem zapominania katastrofalnego w sieci neuronowych uczących się sekwencyjnie. Zamiast pełnych autoencoderów, metoda konwertuje je w niskorankowe ograniczenia na dryf reprezentacji, które można zastosować do nowych zadań bez konieczności zachowywania całych autoencoderów.
Klucz do rozwiązania leży w tym, że SAGA tworzy lokalną, zależną od wejścia geometrię opartą na lewych i prawych wektorach osobliwych macierzy Jacobiana enkodera. Przykłady z replay buffer określają, gdzie zastosować ograniczenia, podczas gdy kierunki osobliwe definiują, które zmiany reprezentacji powinny być penalizowane. Podejście opiera się na teorii - autorzy zdefiniowali spektralny błąd obcięcia i wyprowadzili warunkowe ograniczenie na dryf zamrożonego readoutu.
Wyniki eksperymentów pokazują znaczną poprawę nad istniejącymi metodami. Na trzech benchmarkach z pretrenowanymi modelami ViT-B/16, SAGA osiągnęła największą średnią dokładność Class-IL i najmniejsze średnie zapominanie spośród bazowych metod ER, DER++, ER-ACE i SGD. Konkretne zyski to 12,15 punktów procentowych na CIFAR-100, 4,79 na CUB-200 i 3,22 na ImageNet-R. Ablacyjne testy potwierdzają, że niskorankowa geometria indukowana przez autoencodery oferuje przydatne kompromisy między stabilnością a plastycznością modelu.