Naukowcy przebadali, które metryki oceny najlepiej odzwierciedlają jakość modeli przedtrenowanych w sposób federacyjny, czyli trenowanych na rozproszonych danych pozostających u poszczególnych stron bez ich scentralizowania. Problem polega na tym, że różne uczestnicy mogą mieć dostęp do różnych ilości danych i mogą brać udział w treningu nierównomiernie, co utrudnia porównywanie modeli.
W eksperymencie naukowcy porównali dwa podejścia do ewaluacji na modelach transformerowych o 16M parametrów. Pierwsza metoda to downstream fine-tuning na benchmarku GLUE z wariantami pełnego tuningu, tuningu tylko głowicy i tuningu na mniejszych zbiorach danych. Druga to bezpośrednia predykcja następnego tokena na tekstach z GLUE jako sygnał ewaluacji wewnętrznej. Wyniki pokazały, że downstream fine-tuning nie zachowuje ranking modeli ustalony podczas pre-trainingu - różne modele mogą wypadać inaczej w zależności od konkretnego zadania downstream niż ich faktyczna jakość w pre-trainingowym testowym zbiorze.
Natomiast metryka oparta na predykcji następnego tokena wykazała silną korelację z perplexity z pre-trainingu. To sugeruje, że do porównywania federacyjnie trenowanych modeli trzeba podchodzić inaczej niż do standardowo trenowanych - oceny bliższe samemu procesowi pre-trainingu są bardziej wiarygodne. Odkrycie może wpłynąć na to, jak branża będzie oceniać modele trenowane na danych rozproszonych, co jest coraz ważniejsze dla prywatności.