Naukowcy odkryli, że reinforcement learning lepiej chroni już wytrenowane cechy modeli sztucznej inteligencji niż tradycyjne supervised fine-tuning. Problem, który badacze badali, to zjawisko tzw. catastrophic forgetting - stan, w którym model podczas uczenia się nowych zadań "zapomina" wcześniej zdobytą wiedzę i umiejętności. To kluczowy problem przy tworzeniu systemów AI zdolnych do pracy z wieloma zadaniami jednocześnie, bo dotychczasowe metody treningowe prowadziły do destrukcji już opanowanych obwodów neuronowych.
Zespół badaczy przeanalizował, dlaczego reinforcement learning skuteczniej zachowuje struktury neuronowe w porównaniu z SFT. Okazało się, że RL działa w sposób bardziej delikatny dla istniejących połączeń - zamiast brutalne wymuszać nowe wzorce uczenia jak SFT, pozwala modelowi adaptować się stopniowo, pracując ze starymi obwodami zamiast je uszkadzać. To odkrycie ma praktyczne znaczenie dla rozwoju uniwersalnych modeli AI, które musiałyby obsługiwać setki lub tysiące różnych zadań bez utraty wcześniejszych kompetencji.
Implikacje tego badania są ważne dla całej branży sztucznej inteligencji. Jeśli RL rzeczywiście lepiej zachowuje wytrenowane cechy, mogłoby to zmienić sposób, w jaki inżynierowie podchodzą do treningu zaawansowanych modeli - szczególnie w kontekście agentów AI i systemów wymagających ciągłego doskonalenia. Zrozumienie mechanizmów katastrofalnego zapominania otwiera drogę do efektywniejszych strategii treningowych, które pozwolą budować bardziej stabilne i wszechstronne systemy bez konieczności ponownego uczenia od zera za każdym razem.