Powszechnie uważa się, że kwantyzacja post-treningowa do 4-bitowych wag jest praktycznie bezstratna dla dużych modeli języka. Jednak nowe badanie przeprowadzone na tau-bench pokazuje, że w przypadku agentów wieloturowych wykonujących wywoływanie narzędzi sytuacja wygląda zupełnie inaczej. Choć standardowe metryki nie wykazują istotnych zmian wydajności przy redukcji precyzji z 16-bit na 8-bit i 4-bit, głębokie analizy procesów ujawniają ukrytą szkodę maskowaną przez konstrukcję benchmarku.
Kwantyzacja amplifikuje błędy, które model już wykazuje w pełnej precyzji, aż do 2,5 razy, szczególnie w przypadku halucynacji nazw narzędzi w scenariuszach telekomunikacyjnych i błędów encji w retail. Wraz ze spadkiem precyzji liczba takich awarii wzrasta o 17,6 punktu na zadanie, ale całkowity wynik pozostaje stabilny. To dlatego, że metryka benchmarku ma budżet dziesięciu tolerowanych błędów - dodatkowe awarie mieszczą się w tym limicie i nie wpływają na ostateczny wynik. Zjawisko to nie reprezentuje nowych typów błędów, a raczej wzmacnianie istniejących luk modelu.
Gdy badacze zmniejszyli budżet błędów do zaledwie dwóch, różnica w wynikach wyniosła 17 punktów, dokładnie w komórkach, gdzie kwantyzacja dodała błędy. Targeted error-repair prompty potwierdził tę diagnostykę, usuwając szkody dokładnie tam, gdzie się pojawiły. Badanie pokazuje, że tradycyjne metryki mogą być niesprawiedliwe dla oceny systemów agentów i że kwantyzacja wymaga bardziej szczegółowej analizy procesów, a nie tylko porównania wyników końcowych.