Naukowcy opracowali dwie hybrydowe metody uczenia ciągłego skierowane na problem identyfikacji australijskich języków aborygenów - języków zagrożonych z powodu bardzo ograniczonej ilości dostępnych danych. Nowe podejście łączy Replay Augmented Elastic Weight Consolidation i Constraint Guided Knowledge Distillation, aby adaptować pretrenowane modele mowy do rozpoznawania tych języków bez utraty wcześniej zdobytej wiedzy.
Problem katastrofalnego zapomnienia był dotychczas główną przeszkodą w adaptowaniu dużych modeli mowy do nowych języków z małą ilością danych treningowych. Tradycyjny transfer learning ze względu na ekstremalną rzadkość danych prowadzi do szybkiej degradacji modelu na wysokozasobowych językach. Proponowana metoda hybrydowa łączy zalety technik continual learning, które chronią poprzednio wyuczone reprezentacje, z augmentacją danych i destylacją wiedzy.
Eksperymenty przeprowadzone na trzech australijskich językach aborygenów - Warlpiri, Dalabon i Dharawal - wykazały wyraźną przewagę nowego podejścia. Metody hybrydowe osiągnęły lepszą wydajność zarówno w adaptacji do nowych języków, jak i w utrzymaniu kompetencji na językach o bogatszych zasobach. To rozwiązanie ma istotne znaczenie dla cyfrowego włączenia wspólnot mówiących tymi językami oraz wspierania wysiłków zmierzających do ich rewitalizacji poprzez technologie mowy.