Dlaczego modele z reinforcement learning rozwiązują matematykę lepiej niż standardowo trenowane

Modele trenowane przez reinforcement learning konsekwentnie osiągają lepsze wyniki w matematycznych zadaniach rozumowania niż modele trenowane metodą supervised fine-tuning, ale do tej pory nie wiadomo było dokładnie dlaczego. Nowe badanie z arXiv ujawnia, że różnica leży w sposobie, w jaki modele reprezentują informacje wewnętrznie.

Badacze zastosowali dwie niezależne metody analizy. Po pierwsze, sondy liniowe trenowane na ukrytych stanach warstw pokazały, że modele RL mogą znacznie dokładniej przewidywać poprawność odpowiedzi - ich reprezentacje są bardziej liniowo separowalne i strukturalnie uporządkowane. Po drugie, testy ablacyjne ujawniły, że RL-trenowane modele rozwijają hierarchiczną architekturę, gdzie głębsze warstwy stają się stopniowo coraz ważniejsze, podczas gdy modele SFT rozkładają znaczenie równomiernie na wszystkie warstwy.

Badanie pokazuje także, że token allocation - sposób, w jaki modele alokują obliczenia między różne problemy - jest bardziej zmienny w RL-trenowanych modelach. To sugeruje, że różne strategie treningu mogą prowadzić do zupełnie innych sposobów przydzielania zasobów obliczeniowych. Wyniki wskazują, że reinforcement learning fundamentalnie zmienia nie tylko wydajność modeli, ale także ich wewnętrzną strukturę i sposób przetwarzania informacji przy rozwiązywaniu złożonych problemów matematycznych.