Naukowcy biorą na poważnie problem zapomnianymi umiejętności w modelach językowych podczas ciągłego uczenia. Pytanie brzmi: czy sam model potrafi zadecydować, które swoje wcześniejsze zdolności warto chronić? W swoim badaniu organizują opisy zadań w struktury zwane Task Banks, z których mogą wybierać kombinacje do generowania replay - syntetycznych przykładów treningowych.
Testy na Qwenie wykazały kilka istotnych rezultatów. Po pierwsze, nowe zadania i tempo uczenia określają, które zdolności wycofują się, ale ślepe sledzenie średniej dokładności może ukrywać rzeczywiste ubytek na konkretnych pytaniach. Po drugie, wygenerowany replay rzeczywiście zmniejsza zapominanie na zadaniach spoza Task Banku - kombinowanie różnych banków daje lepszą ochronę niż opieranie się na jednym. Trzecie odkrycie dotyczy samowiedzy modelu: większe warianty potrafią lepiej wybierać cele do ochrony niż selekcja losowa, utrzymując więcej poprzednio poprawnych odpowiedzi przy podobnym postępie na nowych zadaniach.
To badanie pokazuje, że problem ciągłego uczenia nie wynika tylko z braku oryginalnych danych - modele mogą sobie radzić poprzez generowanie replay. Kluczowe wyzwanie leży w tym, aby prawidłowo wskazać, co warte ochrony. Wyniki sugerują, że samowiedza modelu może być kompasem w procesie nauki bez zapominania, chociaż efekty skalują się różnie w zależności od rozmiaru modelu.