Naukowcy z arXiv CS.AI zaprezentowali Auto-FL-Research, system automatycznego wyszukiwania algorytmów uczenia federacyjnego, który wykorzystuje agentów kodujących do eksploracji kombinacji algorytmicznych. Problem, który rozwiązuje, jest istotny w praktyce: uczenie federacyjne wymaga wielu drobnych ale ważnych wyborów technicznych - od wariantów optymalizatorów, przez reguły agregacji po serwerze, aż po lokalne harmonogramy treningowe i normalizację danych. Ręczne testowanie wszystkich kombinacji jest kosztowne i trudne do uczciwego porównania, szczególnie gdy zmiany mogą wpłynąć na całą ścieżkę treningu i ewaluacji modelu.
System AFR pozwala agentom proponować i implementować kandydujące algorytmy treningowe, w tym reguły agregacji serwera, harmonogramy aktualizacji klientów i warianty modeli, podczas gdy profil zadania ustala budżet mocy obliczeniowej, umowę komunikacyjną i ostateczną ewaluację modelu. Każda kampania przeszukiwania rejestruje wyniki kandydatów, czas wykonania, edytowane pliki i statusy awarii. Badacze testowali system na pięciu zadaniach medycznych z zestawu FLamby oraz na profilach klientów grupowanych dla pięciu stałych zbiorów danych LEAF.
Wyniki były mieszane i pouczające: powtórzenia z pięcioma inicjalizacjami wykazały poprawę wydajności na czterech zadaniach FLamby i pięciu z sześciu profili LEAF. Jednak niektóre zwiększenia wydajności pochodziły ze zmian algorytmu uczenia federacyjnego, inne można było osiągnąć prostszymi kontrolkami skalarnymi na stałej powierzchni wyszukiwania, a jeszcze inne nie utrzymywały się w powtórzeniach lub na wstrzymanych zestawach testowych. Badacze unikają przesady w interpretacji wyników, podkreślając znaczenie wrażliwości na losowe inicjalizacje i potrzebę rygorystycznej oceny w automatycznym wyszukiwaniu algorytmów.