Naukowcy przeprowadzili kompleksowy benchmark dziewięciu reprezentatywnych metod class-incremental learning na pięciu enkoderach białkowych i dwóch zbiorach danych enzymatycznych, utrzymując enkodera zamrożone i spójne warunki ewaluacji. Wyniki pokazały fundamentalny problem: żadna z metod nie przenosi się niezawodnie między różnymi enkoderami białkowych reprezentacji, a ta niestabilność utrzymuje się nawet przy alternatywnych konstruktach faz. To stanowi istotne wyzwanie dla potencjalnych praktycznych aplikacji, gdzie system musiałby pracować z różnymi modelami białkowych reprezentacji.
Analizy diagnostyczne ujawniły trzy kluczowe przyczyny tych porażek. Po pierwsze, metody opierały się na słabych sygnałach stabilności opartych na gradientach, które nie wystarczały do niezawodnego uczenia inkrementowego. Po drugie, istniała znaczna heterogeniczność w geometrii embeddingów między enkoderami - każdy model tworzyspace reprezentacyjny o innej strukturze. Po trzecie, założenia dotyczące kowariancji w metodach CIL miały capacity, która powinna się zmieniać w zależności od skali datasetu i typu enkodera, ale tego nie robią.
Wyniki sugerują fundamentalny przesunięcie perspektywy - reprezentacja białkowa nie powinna być traktowana jako pasywny ekstraktor cech, ale jako centralny komponent przy projektowaniu metod continual learning. Niezawodne białkowe CIL będzie wymagać podejść świadomych enkodera, które adaptują swoje założenia statystyczne i capacity do rzeczywistej geometrii reprezentacji, na której operują. Badacze udostępnili kod na GitHub, umożliwiając dalsze eksperymenty i iteracje nad tym problemem.