Międzynarodowy zespół badaczy odkrył, że kwantyzacja post-treningowa zmienia charakter błędów rozumowania w dużych modelach językowych, mimo że dokładność zadań pozostaje prawie niezmieniona. Badając 30 tysięcy wyników łańcuchów myślenia z pięciu modeli instrukcyjnych (3B-14B parametrów) przy trzech precyzjach (FP32, FP16, NF4) na czterech benchmarkach, stwierdzili maksymalny spadek dokładności zaledwie 3,1 punktu procentowego, lecz znacznie bardziej niepokojące przesunięcia w rozkładzie typów błędów.
Hollow Convergence - zjawisko gdzie model osiąga poprawną odpowiedź poprzez niekompletne lub niemożliwe do weryfikacji rozumowanie - pokazuje krytyczną podatność na kwantyzację NF4, szczególnie dla modeli poniżej 12 miliardów parametrów. Jednocześnie Shortcut Collapse (znajdowanie skrótów zamiast rozumowania) wzrasta z 44% do 78% wśród błędnych odpowiedzi dla LLaMA 3.2-3B, podczas gdy inny typ błędu (Confidence Snowballing) praktycznie znika. Te przesunięcia są specyficzne dla zadań: GSM8K wykazuje całkowitą odporność na zmiany precyzji, natomiast LogiQA i ARC-Challenge doświadczają największych przeobrażeń.
Kluczowy problem polega na tym, że standardowe metryki dokładności całkowicie maskują te jakościowe zmiany w procesie rozumowania. Badacze wykazali, że Hollow Convergence nie daje się niezawodnie wykryć z samego tekstu odpowiedzi (najlepszy wynik F1 = 0,53), co czyni go istotnym zagrożeniem dla bezpieczeństwa wdrażanych systemów. Odkrycia wskazują na potrzebę nowych metodologii ewaluacji, wykraczających poza surową dokładność, zwłaszcza gdy planuje się kwantyzowanie dużych modeli dla produkcji.