Fine-tuning dużych modeli języka na urządzeniach mobilnych wcale nie jest tak prosty, jak się wydaje - liczba parametrów nie przekłada się bezpośrednio na zużycie pamięci. Najnowsze badania pokazują, że popularne techniki redukcji parametrów, takie jak pruning czy distillacja, mogą być nieskuteczne, gdy chodzi o rzeczywiste obciążenie pamięci urządzenia. Problem polega na tym, że podczas treningu modelu trzeba przechowywać nie tylko jego parametry, ale również gradienty, stany optymizatorów i aktywacje warstw - wszystko to zajmuje znacznie więcej miejsca niż sama sieć neuronowa. Oznacza to, że nawet mocno zmniejszony model może wymagać gigabajtów RAM-u do trenowania na komputerze przenośnym.
Zespół badaczy proponuje zatem nowe podejście do problemu, które bierze pod uwagę rzeczywistą topografię pamięci na urządzeniach. Zamiast myśleć wyłącznie o kompresji samych parametrów, skupiają się na optymalizacji całego procesu fine-tuningu - od zarządzania bufforami aktywacji, przez efektywniejsze algorytmy obliczania gradientów, po inteligentne kasowanie danych pośrednich, których już nie będziemy potrzebować. Takie podejście pozwala zmieścić trening modeli nawet kilkadziesiąt razy większych niż dotychczas, bez konieczności drastycznego zmniejszania liczby parametrów.
To odkrycie ma spore znaczenie dla przyszłości sztucznej inteligencji na krawędziach sieci - czyli na samych urządzeniach użytkowników. Jeśli nauczymy się efektywnie trenować modele na telefonach i tabletach, zysk będzie niemały: lepsze prywatność danych, mniejsze opóźnienia, mniej zużycia internetu. Badanie otwiera też nowe możliwości personalizacji modeli bezpośrednio u użytkownika, bez wysyłania danych na zewnętrzne serwery. To jest dokładnie kierunek, w którym zmierza branża - traktowanie edge computingu jako równoprawnego podmiotu w ekosystemie AI.