Naukowcy zaprezentowali nowe rozwiązanie dla problemu post-trainingu modeli rozumowania, które wykorzystuje tylko pary pytanie-odpowiedź bez pełnych chain-of-thought. Zamiast tradycyjnego supervised finetuning wymagającego kosztownych śladów rozumowania lub reinforcement learning, który jest obliczeniowo nieefektywny, zespół opracował technikę self-distillacji opartą na modelach odwrotnego rozumowania.
Metoda polega na treningu partnerskiego modelu, który generuje oryginalne ślady rozumowania na podstawie samej odpowiedzi, traktując łańcuch myślenia jako zmienne latentne. Model odwrotny trenuje się jednorazowo i ponownie wykorzystuje dla kolejnych zbiorów danych zawierających tylko odpowiedzi. Kluczową zaletą jest to, że cała generacja odbywa się offline na etapie preparacji danych, co czyni podejście szczególnie wydajnym dla continual post-trainingu bez bieżących obciążeń obliczeniowych.
Experymenty na modelu Qwen3-0.6B przy użyciu benchmarków Countdown i GSM8K wykazały znaczące улучшеня: pojedyncza runda offline distillacji z modelu odwrotnego przibliżnie podwoiła wydajność pass@1 na trudnych promptach. Na Countdown metoda przewyższyła rejection-sampling self-distillation na każdym metryka dla trudnych caso, osiągając mniejsze, ale wciąż istotne zyski na GSM8K. Podejście stanowi istotny krok ku bardziej praktycznym i ekonomicznym metodom treningu modeli rozumowania LLM.