Czułość atencji to za mało: rozdzielenie uczenia kontekstowego na poziomie atencji i behawioralnym

Zespół badaczy wykazał fundamentalną rozbieżność między tym, co pokazują metrics oparte na atencji, a rzeczywistym zachowaniem modeli języka podczas fine-tuning - zjawisko określane Goodhart dissociation. W kontrolowanym eksperymencie na Llama-2-7B zastosowali regularizator maksymalizujący In-Context Sensitivity (ICS), czyli czułość atencji na zmianę prezentowanych przykładów. Regularizator doprowadził wartość ICS do 1,413, czyli zaledwie 0,5% poniżej teoretycznego maksimum.

Ale gdy naukowcy spojrzeli na to, co model faktycznie robiła - na behawioralnym poziomie - otrzymali zupełnie inny obraz. Podczas gdy wskaźnik czułości atencji był wysoki, dokładność na MMLU spadła dramatycznie z 37,1% do 27,9%, a zdolność do in-context learning (ICL-GAP) pozostała bliska zeru. Analiza mechanizmu pokazała przyczynę: atencja rzeczywiście zmieniała się między scenariuszami, ale kierowała się w stronę tokenów formatowania i tekstu demonstracji, a nie do rzeczywiście ważnych etykiet odpowiedzi.

Wynajdki mają istotne konsekwencje dla metod zachowania in-context learning podczas fine-tuningu. Wiele dotychczasowych diagnostyk optymalizowało się pod kątem zmian w atencji, wierząc że to wskazuje na zachowanie zdolności uczenia. Badanie pokazuje jednak, że może to być fałszywą ścieżką - łatwo jest zoptymalizować metrykę atencji kosztem rzeczywistej zdolności modelu. Eksperyment z losowymi etykietami potwierdził, że behawioralne miary mają jeszcze zakres dynamiczny, a częściowe mitygacje bazujące na gate'owaniu i zachowaniu pretrenowanego komputacji mogą pomóc utrzymać zarówno wysoką dokładność, jak i umiarkowaną czułość atencji.