Naukowcy opracowali metodę CP-MoE, która pozwala modelom sztucznej inteligencji uczyć się nowych zadań bez zapominania tego, co już wiedzą. Problem, który rozwiązuje, to tzw. katastrofalne zapominanie - zjawisko, w którym sieci neuronowe tracą umiejętności z poprzednich zadań, gdy adaptują się do nowych. CP-MoE łączy architekturę Mixture-of-Experts, w której różne części modelu specjalizują się w różnych aspektach, z technikami continual learning zapewniającymi zachowanie wcześniejszej wiedzy. Wynik to system, który może ewoluować bez konieczności całkowitego przeszkolenia od zera.
Architektura Mixture-of-Experts już od lat cieszy się popularnością w dużych modelach linguistycznych, bo pozwala na elastyczne rozdzielanie obliczeń między wyspecjalizowane moduły. Dodanie do tego mechanizmów spójności w uczeniu ciągłym otwiera nowe możliwości praktyczne. Zamiast utrzymywać oddzielne modele dla każdego zadania lub ryzykować zapomnienie starych umiejętności, CP-MoE zapamiętuje i aktualizuje odpowiednie części swojej wiedzy. To szczególnie ważne dla aplikacji, które muszą radzić sobie ze zmiennymi warunkami - od systemów rekomendacyjnych zmieniających się wraz z gustami użytkowników, przez roboty uczące się nowych umiejętności, aż po modele analizujące dane przychodzące w czasie rzeczywistym.
Propozycja ma realne znaczenie dla przemysłu AI. Zamiast co jakiś czas przeprowadzać drogi i czasochłonny retrain całej sieci, organizacje mogą utrzymywać modele, które ewoluują stopniowo, przyswajając nowe informacje bez utraty wydajności na wcześniejszych zadaniach. To zmniejsza koszty obliczeniowe i czyni systemy bardziej praktycznymi w dynamicznych środowiskach produkcyjnych.