Demistyfikacja uczenia przez wzmacnianie w doskonalaniu modeli języka

Naukowcy z arXiv przeprowadzili szczegółową dekonstrukcję algorytmów reinforcement learning stosowanych do post-trainingu dużych modeli języka, rozkładając je na składowe elementy, aby pokazać, co naprawdę dzieje się pod maską. Zamiast traktować RL jak czarną skrzynkę, zespół zajął się każdym krokiem algorytmu w kontrolowanym, uproszczonym środowisku z weryfikowalnymi nagrodami.

Badacze wykorzystali entropię rozkładu wyjścia modelu jako narzędzie do porównania dystrybucji powstałych na każdym etapie: pretrainingu, supervised fine-tuning (SFT) i RL post-trainingu. Pozwoliło im to zobaczyć, jak każdy etap wpływa na pewność modelu w generowaniu odpowiedzi. Analizy wykazały, że ostateczny sukces RL post-trainingu w dużej mierze zależy od tego, czy model bazowy już przypisuje wystarczającą masę prawdopodobieństwa pożądanemu zachowaniu - koncepcja bezpośrednio powiązana z klasycznym pojęciem eksploracji w reinforcement learning.

Praca ujawnia też interakcje między kluczowymi czynnikami wpływającymi na rezultaty: granularnością sygnału nagrody, różnorodnością promptów treningowych i skalą modelu. Na przykład efekt tzw. spurious rewards (fałszywych nagród) okazał się zależny od konkretnej dystrybucji promptów użytej w procesie post-trainingu. Wyniki stanowią praktycz poradnik dla społeczności NLP, demistyfikując dotychczasowe tajemnice stojące za impresjonującymi zdolnościami RL-wzmacnianych modeli w rozumowaniu, matematyce i programowaniu.