Badacze z arXiv zaproponowali algebraiczną kwantyzację (AIQ) - nową metodę kompresji danych dla modeli AI, która opiera się na algebraicznych formatach liczb całkowitych (AINF). Kluczową zaletą tego podejścia jest możliwość wykonywania operacji arytmetycznych całkowicie na liczbach całkowitych, co eliminuje błędy zaokrąglenia w operacjach mnożenia-akumulacji - fundamentalnych dla sieci neuronowych.
Metoda wykorzystuje liczby algebraiczne do reprezentacji wag i aktywacji modeli, oferując znacznie większą elastyczność niż tradycyjne formaty zmiennoprzecinkowe czy stałoprzecinkowe. Zamiast używać jednego uniwersalnego formatu liczbowego, AIQ pozwala wybierać liczby algebraiczne dostosowane do konkretnych charakterystyk numerycznych danego modelu lub warstwy. W badaniach zastosowano liczby algebraiczne stopnia drugiego (liczby kvadratowe), ale autorzy wskazują, że generalnie można wykorzystać algebraiczne liczby wyższych stopni i wymiarów, co powinno zapewniać jeszcze lepsze wyniki.
Eksperymenty pokazały, że AIQ osiąga wydajność konkurencyjną do standaryzowanego formatu MX przy tym samym budżecie bitów na parametr, działając na nowoczesnych akceleratorach sprzętowych. To podejście otwiera całkowicie nowe możliwości optymalizacji sieci neuronowych, niedostępne w istniejących metodach kwantyzacji. Praca sugeruje, że przyszłe badania nad wielowymiarowymi liczbami algebraicznymi mogą przynieść znaczące przyspieszenia dla wnioskowania modeli LLM.