Badacze z arXiv představili TallyTrain - nową metodę rozwiązującą jeden z głównych problemów federacyjnego uczenia maszynowego, jakim jest ogromna przepustowość potrzebna do komunikacji między węzłami sieci. W tradycyjnym podejściu każdy węzeł musiał przesyłać pełne rozkłady prawdopodobieństwa dla wszystkich klas wyjściowych (soft-labele), co przy tysiącach lub milionach klas staje się praktycznie niemożliwe.
TallyTrain zmienia to drastycznie - węzły przesyłają jedynie index klasy z najwyższą pewnością predykcji, co stanowi log2(C) bitów informacji zamiast pełnego rozkładu. To kollosalne zmniejszenie komunikacji, ale kluczowa innowacja tkwi w tym, że system wcale nie traci na wydajności. Zamiast tego wykorzystuje głosowanie większościowe do wyboru konsensusu, które naturalnie filtruje błędy niedouczonych węzłów - coś, czego tradycyjne uśrednianie soft-labeli nie potrafi zrobić. Metoda została zwalidowana na standardowych benchmarkach i wykazała wydajność dorównującą lub przebijającą tradycyjne destylowanie przy komunikacji tysiące razy mniejszej.
Znaczenie tej pracy polega na tym, że rozwiązuje ona dwa kluczowe wąskie gardła skalowania federacyjnego uczenia: wielkość modelu i liczbę klas. Badacze pokazują również wariant zwany bandwidth-bridge, który łączy tanią konsensus hard-label z rzadkim scalaniem parametrów, osiągając dominację Pareto nad popularnymi metodami FedAvg, FedProx i FedDF. W czasach gdy modele maszynowego uczenia rosną wykładniczo, a uczenie federacyjne staje się coraz ważniejsze dla prywatności, takie oszczędności komunikacyjne mogą być przełomowe dla praktycznego wdrażania systemów rozproszonego uczenia.