Naukowcy zaproponowali TACO (Tail-Aware Credit Calibration), metodę która rozwiązuje poważny problem w uczeniu przez wzmacnianie dużych modeli języka. Istniejące podejścia critic-free RL przydzielają jednakową zaletę (advantage) wszystkim tokenom w generowanym tekście, niezależnie od ich różnic. To prowadzi do zjawiska Positive-Credit Contamination, gdzie niskopowtarzalne tokeny erroniczne otrzymują tę samą pozytywną nagrodę co prawidłowe - efektywnie wzmacniając błędne rozumowanie.
TACO wprowadza tail-risk score, który wykorzystuje lokalny kontekst generacji, aby ocenić ryzyko, że token będzie podatny na unreliable tail. Kluczowe jest, że metoda rozróżnia między rzadkością spowodowaną brakami w trenowaniu a rzadkością wynikającą z eksploracji opartej na niepewności. Zamiast całkowicie usuwać gradienty dla ryzykownych tokenów, TACO kalibruje ich pozytywny kredyt - pozwala to przydanym rzadkim wzorcom gromadzić wzmacnienie, podczas gdy szum incydentalny jest stopniowo tłumiony.
Wyniki eksperymentów na trzech różnych LLM i ośmiu benchmarkach pokazują konsystentne przewyższanie linii bazowej GRPO. Szczególnie znaczące jest, że TACO poprawia stabilność trenowania i wspiera utrzymywanie zysków wydajności w długotrwałym uczeniu RL, co stanowi praktyczną przewagę dla szkolenia zaawansowanych modeli.