Naukowcy z arXiv odkryli fundamentalny problem w zbiorach danych używanych do trenowania modeli AI w zadaniach weryfikacji rozumowania: zdecydowana większość problemów nie dostarcza użytecznego sygnału treningowego. Dokładnie 88 procent problemów z popularnych otwartych zbiorów danych matematycznych spadało w pułapkę zero-advantage - albo były rozwiązywane w każdym przebiegu, albo nieresolwalnych w każdym przebiegu dla danej polityki i budżetu rollout'u.
Problematyka dotyczy skalowania opartego na danych w RLVR (reinforcement learning for reasoning verification). Dotychczasowe podejścia skupiały się na zbieraniu lub generowaniu problemów do weryfikacji, ale sam rozmiar korpusu nie gwarantuje, że dane rzeczywiście wspomogą trening. Samo filtrowanie istniejących problemów nie wystarczy - odrzuca najtrudniejsze przypadki, które mogą być kluczowe do nauki modelu.
MagicBeanStalk to nowy algorytm o architekturze top-down i bottom-up, który wyhodowuje rodziny syntetycznych problemów treningowych z problemów-nasion. Kluczową cechą jest kalibracja trudności: generowane problemy są wystarczająco trudne, aby część rollout'ów się nie powiodła, ale wystarczająco łatwe, aby przynajmniej jedno poprawne rozwiązanie mieściło się w budżecie treningowym. Metoda zachowuje logiczne struktury i operacje rozumowania z problemów oryginalnych, ale komponuje je w nowe, istotnie różne zadania - znacząco zwiększając efektywność treningu.