Gdzie generować ma znaczenie: efektywna augmentacja danych dla niezbalansowanego uczenia federacyjne

Naukowcy z arXiv CS.LG zaproponowali FedEAS - nową metodę na problem niezbalansowanych danych w uczeniu federacyjnym. Problem pojawia się gdy różne urządzenia uczestniczące w treningu modelu mają dostęp do danych z nierownym rozkładem klas, co prowadzi do dryfu klienta i pogorszenia dokładności globalnego modelu. Rozwiązaniem jest generowanie danych syntetycznych, ale dotychczasowe podejścia wymagały ogromnych kosztów obliczeniowych.

FedEAS zmienia to przydzielając każdemu klientowi indywidualny budżet generowania oparty na entropii jego lokalnego rozkładu etykiet. System inteligentnie decyduje zarówno ile danych syntetycznych wygenerować, jak i gdzie je rozmieścić w sieciach klienta. Zamiast ustalać całkowity budżet z góry, FedEAS oblicza go sumarycznie z wszystkich per-klienckich budżetów. To pozwala na znacznie bardziej efektywne wykorzystanie zasobów.

Wyniki są imponujące - metoda odzyskuje większość dokładności uzyskiwanej przez pełne balansowanie klas, ale zmniejszając budżet generowania o 94,1 procent. Na zbiorach testowych CIFAR-10 i CIFAR-100 FedEAS przewyższa jednolite przydzielanie budżetu nawet o 18,82 procent przy tym samym całkowitym budżecie generowania. To stanowi znaczny krok w kierunku praktycznie efektywnego uczenia federacyjnego.