Naukowcy opracowali ReAPO, ulepszoną metodę optymalizacji polityki dla modeli języka, która rozwiązuje problem marnotrawienia zasobów obliczeniowych na powtarzające się nieudane strategie podczas trenowania zdolności rozumowania. Metoda ta modyfikuje popularny algorytm GRPO poprzez wprowadzenie świadomości ponownych prób - zamiast traktować każdą próbę niezależnie, ReAPO inteligentnie przydziela więcej zasobów do scenariuszy, które się nie powiodły, i przypisuje kredyt tylko udanym powtórzeniom.
Klucz do podejścia stanowi zastosowanie teoretycznego ram pracy ze świata klasycznego uczenia ze wzmacnianiem - Stochastic Shortest Paths. Ten framework uogólnia problem na minimalizowanie oczekiwanego skumulowanego kosztu do osiągnięcia stanu terminalnego, czyli w tym przypadku prawidłowej odpowiedzi. Pod pewnymi upraszczającymi założeniami, ta perspektywa naturalnie prowadzi do prostej modyfikacji GRPO, która ma teoretycznie uzasadnione podstawy do przydziału kredytu dla każdej próby.
Testy empiryczne przeprowadzone na modelach Qwen3 i OLMo-2 o rozmiarach od 0.6B do 4B parametrów na ośmiu benchmarkach rozumowania matematycznego i naukowego pokazały, że ReAPO przewyższa zarówno GRPO jak i inne niedawne algorytmy bazowe. Metoda szczególnie zaznaczyła swoją przewagę na mniejszych modelach - na Qwen3-0.6B osiągnęła najlepsze wyniki. Znaczenie pracy polega na tym, że pozwala na bardziej efektywne trenowanie mniejszych modeli do skomplikowanych zadań rozumowania, co może mieć praktyczne znaczenie dla wdrażania zaawansowanych LLM na urządzeniach z ograniczoną mocą obliczeniową.