Perplexity i NVIDIA apresentują JOLT - nową metodę wzmacniającą dla modeli językowych

Perplexity i NVIDIA zaprezentowali JOLT (Joint On-policy Learning and Teaching), post-trainingową metodę dla modeli językowych, która rewolucjonizuje podejście do reinforcement learningu poprzez trening jednego modelu w dwóch rolach nauczyciela i ucznia. Kluczowym przełomem jest to, że nauczyciel jest również trenowany, co utrzymuje jego feedback w użytecznym stanie, a cały proces odbywa się na jednym modelu bez konieczności utrzymywania odrębnego nauczyciela.

Metoda została przetestowana na modelach Qwen3 w wariantach 0.6B, 4B, 8B, 30B oraz DeepSeek-V2-Lite. Na benchmarku MATH JOLT osiągnął parytet z GRPO przy 6,5 razy mniejszym zużyciu przetwarzanych tokenów treningowych - parametr, który bezpośrednio wpływa na koszty obliczeniowe. Jeszcze bardziej imponujące wyniki przyniosła wariant JOLT+, który uzyskał 72,09 procent pass rate'u na AppWorld w porównaniu do 62,20 procent dla GRPO, dając przewagę prawie 10 punktów procentowych. Metoda konsekwentnie pokonywała konkurencyjne podejścia GRPO, OPSD i pi-Distill we wszystkich testowanych scenariuszach.

Podstawą problemu, który rozwiązuje JOLT, jest rzadkość sygnału nagrodowego w outcome-reward RL - tradycyjna nagroda przydzielana za każdą próbę nie wskazuje, które tokeny faktycznie przyczyniły się do sukcesu. Na długich, zaawansowanych zadaniach rzadko dochodzi do sukcesu, co spowalnia naukę. JOLT adresuje to poprzez self-distillation, gdzie nauczyciel dostarczający bogatszych informacji zwrotnych jest jednocześnie uczył się wraz z modelem ucznia, tworząc bardziej efektywny feedback loop na wspólnym modelu.