Badanie analizuje wpływ matched learning rate na zjawisko dryfu atencji i retencję transferu wiedzy w modelu CLIP podczas fine-tuningu. Pracownicy zbadali, jak dostrajanie modelu wpływa na utratę pier
Badania
arXiv CS.LG
Badanie analizuje wpływ matched learning rate na zjawisko dryfu atencji i retencję transferu wiedzy w modelu CLIP podczas fine-tuningu. Pracownicy zbadali, jak dostrajanie modelu wpływa na utratę pier