Naukowcy przedstawili HERO, standaryzowaną bibliotekę benchmarkową do oceny federacyjnego uczenia ciągłego (FCL), gdzie rozproszczeni klienci uczą się z czasem zmieniających się danych przy jednoczesnym zachowywaniu poprzedniej wiedzy. Problem polega na tym, że dotychczasowe oceny są trudne do porównania, ponieważ badacze jednocześnie zmieniają zbiory danych, podziały zadań, dystrybucję danych klientów, porządek zadań, architektur neuronowych i zasady raportowania wyników.
HERO rozwiązuje ten problem, oddzielając trzy krytyczne wybory, które zwykle są powiązane: podział zadań, podział danych między klienty i sekwencję zadań przydzielaną każdemu klientowi. W głównym benchmarku HERO-Core parametr alfa kontroluje skośność danych klientów (jak nierównomiernie rozkładają się dane), a rho kontroluje niedopasowanie porządku zadań. Badania obejmują ocenę reprezentatywnych metod FCL na CIFAR-100 i TinyImageNet przy użyciu średniej dokładności końcowej, średniego zapominania i dokładności dla 10% najgorszych klientów. Dodatkowo zawiera case study na grafowych danych OGB-MolPCBA testujące przenaszalność w scenariuszach z przesunięciem domeny.
Wyniki pokazują, że zachowanie metod FCL znacznie się zmienia w zależności od stopnia heterogeniczności ustawień, że średnia dokładność może maskować słabe osiągi najgorszych klientów, i że niedopasowanie porządku zadań wymaga innych strategii niż ocena synchroniczna. HERO udostępnia gotowe strumienie benchmarkowe, konfiguracje, implementacje metod i skrypty raportujące, co stanowi znaczny krok w kierunku standaryzacji oceny federacyjnego uczenia ciągłego.