Kwantyzacja do 4-bitów przy użyciu RTN, GPTQ i AWQ nie poprawiła sytuacji - żadna konfiguracja nie stała się kwalifikowalna. Uszkodzenia zależały od rozmiaru modelu, ale nie przeniosły go ponad próg. Wyniki replikują się na modelach Llama-3.x (wszystkie 12 wariantów niekwalifikowalne) i są odporne na zmianę wybranego baseline'u. Badanie sugeruje, że luka w eligibilności wynika przede wszystkim z fundamentalnych ograniczeń rozmiaru modelu, a nie precyzji numerycznej, co ma istotne implikacje dla praktycznego wdrażania systemów agentów.
Badania
arXiv CS.AI