Badacze z arXiv przeanalizowali, czy impresyjne zyski modeli trenowanych techniką RLVR na zadaniach poza domeną treningową rzeczywiście odzwierciedlają lepsze zrozumienie, czy tylko zmianę formatu odpowiedzi. Okazało się, że pierwotne ekstraktory odpowiedzi, skopiowane z publicznie dostępnego kodu, mają tendencję sprawdzania "pudełka" z odpowiedzią (\boxed{}) zanim przeszukają zwykły tekst.
Na czterech parach modeli 7B base-RL zysk na pytaniach wielokrotnego wyboru poza domeną wynoszący 82 procent całkowicie znika po zastosowaniu bardziej elastycznego ekstraktora, który odczytuje odpowiedź niezależnie od tego, czy znajduje się w pudełku czy w tekście. Modele bazowe już pisały większość odpowiedzi w tekście, a RLVR nauczył je umieszczać je w formacie pudełka. Niezależni czytelnicy LLM konfirmują tę obserwację na poziomie 77 procent, a cuando ekstraktory są skonfigurowane z monitem wymagającym pudełka, liczba ta wynosi 79 procent.
Jednak dla większego modelu 32B trenowanego innym podejściem prawie żaden raportowany zysk nie wynika z zmiany formatu - jego model bazowy już umieszczał odpowiedzi w pudełku na polecenie, a RL prawie tego nie robił bez wzmianki. Badanie demonstruje krytyczy punkt: raportowane wzrosty wydajności są częściowo funkcją narzędzia pomiarowego, a nie czystych ulepszeń modelu. Re-scoring zapisanych danych wyjściowych z użyciem drugiego ekstraktora drastycznie zmienia interpretację wyników.