Badacze zaproponowali CP-MoE, nową metodę łączącą architekturę Mixture-of-Experts z continual learning, aby modele mogły uczyć się nowych zadań bez zapominania wcześniej nabytej wiedzy. Rozwiązanie zachowuje spójność w uczeniu się, co oznacza brak spadku wydajności na starych zadaniach przy nauce nowych. Ta praca jest ważna dla praktycznych aplikacji AI, gdzie modele muszą adaptować się do zmiennych warunków bez pełnego przeszkolenia od nowa.
Badania
arXiv CS.LG