Hierarchiczna destylacja agentów LLM: na którym poziomie podążać za studentem?

Destylacja agentów LLM stoi przed fundamentalnym problemem: czy trenować model na demonstracjach od wytrenowanego nauczyciela (podejście off-policy), czy na jego własnych doświadczeniach (on-policy). Zespół badaczy zaproponował rozwiązanie, które wykracza poza ten binarny wybór, wprowadzając hierarchiczny framework, który rozdziela on-policiness na dwa niezależne poziomy - jeden dla historii interakcji, drugi dla generowania tokenów w bieżącej akcji.

Ta dwupoziomowa struktura okazuje się kluczowa dla jakości treningu. W trzystopniowym badaniu przeprowadzonym na trzech modelach i czterech interaktywnych środowiskach naukowcy testowali różne kombinacje: historię generowaną przez studenta z prefiksami od nauczyciela, historię od nauczyciela z prefiksami od studenta, oraz różne mieszanki. Rezultaty pokazały, że student-induced histories połączone z teacher-generated action prefixes dają w istocie najlepsze wyniki jako samodzielny sygnał treningowy, podczas gdy całkowita zależność od studenta okazała się najgorsza.

Najważniejsze odkrycie dotyczy mieszanek treningowych: nawet gdy proporcje nauczyciela i studenta są identyczne na obu poziomach, różne sposoby ich łączenia dają radykalnie różne wyniki. To sugeruje, że nie chodzi tylko o ilość on-policy data, ale o strategiczny sposób ich integracji. Frontloading - wstępne ładowanie w pełni nauczycielskich kontekstów - okazał się szczególnie efektywny, co otwiera nowe możliwości optymalizacji sekwencji treningowej dla agentów LLM.