Rzadkie autoenkoderów trenuje się zwykle na miliardach tokenów aktywacji, ale mało badań weryfikuje, czy taka skala jest rzeczywiście konieczna. Nowe badanie testuje minimalną ilość danych potrzebną do trenowania SAE poprzez systematyczne zmniejszanie budżetów treningowych od 5 milionów do 500 milionów tokenów, mierząc zarówno funkcjonalne zachowanie modelu, jak i jedno-do-jednego dopasowanie nauczonych cech.
Głównym odkryciem jest asymetria między tymi dwoma celami. Rekonstrukcja aktywacji zbliża się do pełnego potencjału przy znacznie mniejszych budżetach - model osiąga zadowalającą funkcjonalność z ułamkiem oryginalnych danych. Jednak powtarzalność cech, czyli zdolność do nauki tych samych reprezentacji w powtórzonych treningach, konsekwentnie poprawia się wraz z ilością danych. Dla modelu Gemmy-2-2B z architekturą BatchTopK odsetek ściśle dopasowanych cech wzrósł z zaledwie 2 procent przy 5 milionach tokenów do 29 procent przy 50 milionach. Badacze odkryli także, że metoda próbkowania wpływa na wyniki - losowe próbkowanie lepiej zachowuje oryginalny rozkład aktywacji i wspiera rekonstrukcję, podczas gdy próbkowanie oparte na różnorodności często ulepsza AutoInterp.
Wyniki mają praktyczne implikacje dla społeczności badaczy SAE. Pokazują, że trenowanie można dostosować do konkretnych celów - jeśli priorytetem jest tylko funkcjonalna wydajność, można użyć znacznie mniejszych budżetów danych. Gdy natomiast badania dotyczą właściwości cech, konieczne są explicitne sprawdzenia powtarzalności. Autorzy pokazują także teoretyczne rozróżnienie między statystyczną konwergencją a silniejszymi warunkami identyfikowalności wymaganymi dla autentycznego odtworzenia cech, co otwiera drogę do tańszych i bardziej niezawodnych badań nad rzadkimi autoenkoderami.