Naukowcy opracowali nową metodę kwantyzacji modeli AI, która wykorzystuje pojęcie płaskości funkcji straty do optymalizacji procesu zmniejszania precyzji wag neuronowych. To połączenie teorii optymalizacyjnej z praktyką ma na celu zachowanie wydajności modelu przy jednoczesnym zmniejszeniu jego rozmiaru - kluczowy problem dla każdego, kto chce uruchamiać zaawansowane systemy AI na zwykłych urządzeniach. Pomysł stoi na przesłance, że modele znajdujące się w "płaskich" obszarach funkcji straty lepiej tolerują redukcję precyzji, ponieważ niewielkie zmiany w wagach nie prowadzą do drastycznych zmian w wydajności.
Standardowe podejścia do kwantyzacji polegają na prostej konwersji liczb zmiennoprzecinkowych na liczby całkowite niższej precyzji, co zmniejsza pamięć i przyspieszenie obliczeń, ale ryzykuje znaczną utratę dokładności. Nowa metoda idzie dalej - zamiast traktować wszystkie wagi jednakowo, identyfikuje obszary modelu, które mogą bezpiecznie przejść kwantyzację bez wpływu na ostateczną wydajność. Podejście to ma szczególne znaczenie w epoce wielkich modeli językowych i transformerów, które pochłaniają ogromne ilości zasobów obliczeniowych.
Praktyczne konsekwencje są obiecujące. Jeśli metoda będzie dalej rozwijana, mogłaby umożliwić wdrażanie coraz większych modeli AI na smartfonach, brzegowych urządzeniach (edge devices) i serwerach o ograniczonej mocy obliczeniowej. To oznacza szybsze działanie aplikacji, mniejsze zużycie energii i bardziej dostępne zaawansowane systemy AI dla zwykłych użytkowników. Dla branży to potencjalnie przełomowe podejście do jednego z największych wyzwań związanych ze skalowaniem sztucznej inteligencji.