Naukowcy z arXiv przedstawili nową technikę zwaną signed symmetric quantization, która poprawia kompresję modeli AI przy bardzo niskiej precyzji bitowej. Zamiast przycinać wartości anomalne w dodatniej części zakresu, jak to robi standardowa symetryczna kwantyzacja, nowa metoda inteligentnie umieszcza dodatkową reprezentowalną wartość na ogonie dominujących wartości anomalnych poprzez regułę wyboru znaku. Takie podejście zachowuje zero point na zero, co jest kluczowe dla wydajności.
Standardowe podejście symetryczne zmusza się do używania ściśle dodatniej skali, choć typ signed integer ma jedną więcej wartości reprezentowalnej w ujemnym zakresie niż dodatnim. To powoduje niechciane przycinanie dodatnich wartości anomalnych i wprowadza błędy kwantyzacji zwłaszcza przy 4-bitach i niższych precyzjach. Asymetryczna kwantyzacja rozwiązuje ten problem poprzez zero point, ale niesie ze sobą karę wydajności - na procesorze AMD EPYC "Turin" osiąga do 2,45 raza mniejszą przepustowość niż format symetryczny.
Autorzy dowodzą teoretycznie, że ich zaproponowana siatka signed absmax jest warunkową optymalną w sensie błędu L2 i że warunki te spełnione są dla 88-99 procent grup wag w pre-trainowanych modelach LLM przy niskich szerokościach bitowych. To czyni metodę praktyczną i przydatną do szybszej kompresji dużych modeli językowych bez istotnej utraty dokładności.