Badacze z arXiv wykazali, że multi-teacher on-policy distillation - popularna metoda treningu agentic language models - może powodować niechciany problem zwany behavior shift, który pozostaje ukryty w standardowych metrikach. W eksperymentach z modelami uczonymi od dwóch nauczycieli (jeden specjalizujący się w wywoływaniu narzędzi, drugi w odpowiedziach bezpośrednich) odkryli, że zwykła generalized knowledge distillation poprawia recall dla tool-call, ale jednocześnie powoduje over-calling - model zaczyna wywoływać narzędzia na przykładach, które powinno rozwiązać samodzielnie.
Surprise znalezienia polega na tym, że tradycyjne wyjaśnienia nie pasują. Próbki z tool-call nie otrzymywały większej eksponencji tokenów, a pełnosekundowa per-token dywergencja nie była większa dla nauczyciela specjalizującego się w narzędziach. Analiza wykazała, że problem tkwi w behavior leverage imbalance - lokalne sygnały na poziomie tokenów w strategicznych pozycjach, takich jak nazwy funkcji lub znaki specjalne, mają dysproportjonalnie duży wpływ na globalny tryb generowania modelu.
Rozwiązaniem jest Soft Clamp, metoda kalibracji per-token divergence, która dynamicznie kompresuje ekstremalne wartości Jensen-Shannon divergence dla poszczególnych tokenów, jednocześnie zachowując niezerowe gradienty. Na benchmarku APIGen-MT Soft Clamp zmniejszyła over-calling z 13,7% do 9,0% w stosunku do vanilla GKD, utrzymując przy tym dokładność decyzji. W wieloobrotowych testach diagnostycznych BFCL metoda zmniejszyła też problem tool-call loops i powtarzających się wywołań. Badanie ma istotne implikacje dla treningu modeli agentowych, które muszą nauczyć się prawidłowo decydować, kiedy używać narzędzi, a kiedy odpowiadać bezpośrednio.