Opublikowana na arXiv metoda TACO (Tail-Aware Credit calibratiOn) adresuje fundamentalny problem w uczeniu ze wzmacnianiem dużych modeli języka. Gdy używane są powszechne metody RL bez modelu krytyka, wszystkie tokeny w poprawnej sekwencji otrzymują identyczną nagrodę, co prowadzi do wzmacniania również błędnych tokenów o niskiej wiarygodności.
Problем, określony jako Positive-Credit Contamination, polega na tym, że mało prawdopodobne tokeny generujące błędy logiczne są traktowane identycznie jak tokeny prawidłowe. TACO wprowadza tail-risk score, który bierze pod uwagę lokalny kontekst generowania, aby ocenić, czy token jest niepewny czy po prostu rzadki. To rozróżnienie jest kluczowe - rzadkie tokeny mogą być przydatne (np. kreatywne rozwiązania), a przypadkowe szumy powinny być tłumione. Zamiast całkowicie usuwać gradienty dla ryzykownych tokenów, metoda selektywnie zmniejsza ich pozytywne uaktualnienia.
Badania przeprowadzone na trzech LLM-ach i ośmiu benchmarkach wykazały konsystentną przewagę TACO nad metodami GRPO. Szczególnie istotne jest, że metoda poprawia stabilność treningu i wspiera długohoryzontalny RL, gdzie tradycyjne podejścia tracą efektywność z czasem.