Zespół badawczy opisuje W2SPO (weak-to-strong policy optimization), nową metodę off-policy reinforcement learning, która wykorzystuje współpracę między mocnym modelem docelowym a słabszym, ale wydajnym modelem pomocniczym. Problem, który identyfikują, to semantic redundancy - gdy modele są trenowane na złożonych zadaniach rozumowania, generują rollout'y, które konwergują do tych samych błędnych ścieżek myślenia, oferując znikomy kontrast nagród do aktualizacji polityki.
Mechanizm W2SPO jest elegancko prosty: krótkie segmenty z modelu pomocniczego, często zawierające zaledwie 8 tokenów, są wstrzykiwane w losowe punkty trajektorii docelowego modelu. Model docelowy następnie kontynuuje rozumowanie od tych zmienionych stanów. Aktualizacje polityki odbywają się wyłącznie na tych krótkich wstawianych segmentach w oparciu o ostateczne, weryfikowalne nagrody. Podejście weak-to-strong learning okazuje się szczególnie efektywne w pokonywaniu problemu konwergencji do niewłaściwych basenów.
Wyniki empiryczne na modelach 4B-parametrowych wykazują wyraźną przewagę nad baseline'ami. W porównaniu do vanilla GRPO przy tym samym budżecie sampling'owym, W2SPO zwiększa Pass@1 z 62,3 proc. do 64,2 proc., jednocześnie osiągając 3,55-krotne przyspieszenie treningu. To sugeruje, że strategiczne wykorzystanie słabszych modeli pomocniczych może indukcyjnie prowadzić do wyraźnie silniejszych polityk rozumowania w modelach docelowych, otwierając nowe kierunki optymalizacji RLHF.