Badacze z arXiv zaproponowali nową strategię trenowania modeli, która eliminuje pełne backpropagation jako wymóg adaptacji modeli do nowych danych. Zamiast tego podejście dekupluje ekstrakcję cech od optymalizacji klasyfikatora - cechy są obliczane raz i reużywane, a tylko warstwa klasyfikacyjna jest trenowana. Do tego dodają dostrojenie warstw normalizacji i nowy head klasyfikacyjny z margin-based weighted loss, co zmniejsza niejednoznaczność bez konieczności pełnego end-to-end treningu.
Metoda została przetestowana na szerokiej gamie architektur - czterech CNNach (ResNet18, ResNet50, MobileNet, DenseNet121) oraz trzech Transformerach (ViT, Swin, DeiT). Eksperymenty przeprowadzono na trzech medycznych datasetach: Brain Cancer MRI, BreakHis i PatchCamelyon. Wyniki pokazują, że czas treningu spada drastycznie przy jedynie marginalnym spadku dokładności, a w wielu przypadkach performance dorównuje lub przewyższa tradycyjne podejścia.
Z perspektywy praktycznej to ma ogromne znaczenie dla wdrażania sztucznej inteligencji w środowiskach o ograniczonych zasobach - szpitale, kliniczne laboratorium czy prototypowanie systemów. Zmniejszenie zapotrzebowania energetycznego przekłada się na redukcję emisji CO2 o rzędy wielkości. To czyni podejście nie tylko wydajnym obliczeniowo, ale też odpowiedzialnym ekologicznie rozwiązaniem dla branż takich jak medycyna, gdzie transfer learning jest standardową praktyką.