Badacze opracowali CRN v2 - moduł korekcji błędów pracujący na poziomie logitów, który stanowi zaledwie 0,73% wielkości głównego modułu tekstowego (34M z 4,65B parametrów). Moduł jest umieszczony na szczycie całkowicie zamrożonego modelu Gemma 4 E2B, a podczas treningu aktualizowane są tylko jego wagi poprzez supervised fine-tuning i reference-free DPO na zbiorze 83,400 par do korekcji błędów.
Wyniki pokazują, że CRN v2 potrafi naprawić 53,3% błędów modelu bazowego (43,3% w wariancie przeformułowanym) na egzaminie domeowym CEHRI obejmującym faktyczne wiedzy, arytmetykę i rozumowanie niejawnych celów. Kluczowe jest, że moduł nie powoduje żadnej degradacji na testowanych benchmarkach (MMLU, BoolQ z próbą N=200, car-wash N=8). To kontrast wobec tradycyjnych podejść: baseline LoRA z porównywalnym budżetem parametrów osiąga co prawda wyższą korekcję na poziomie 83,3%, ale cena jest wysoka - traci 30-75% zdolności na tych samych benchmarkach.
Ablacyjne studia ujawniły, że termin KL preservation z wagą lambda=0,1 jest krytyczny dla utrzymania równowagi - obniżenie go do 0,01 degraduje korekcję do 35,0%. Warianty eksperymentalne, takie jak wstrzykiwanie do hidden states na wcześniejszych warstwach czy wielowarstwowa korekcja na poziomie logitów, nie przekraczały wydajności podstawowego podejścia. Badanie demonstruje, że można osiągnąć znaczącą korekcję błędów bez potrzeby aktualizacji całego modelu, otwierając nowe możliwości dla praktycznego wdrażania modeli językowych.