Badacze z arXiv zaproponowali rewizję dotychczasowych praw skalowania dla modeli uczenia się obrazów, pokazując że powtórzenia próbek danych mogą mieć znacznie większą wartość niż dotąd sądzono. Dotychczasowe teorie sugerowały że wydajność modelu zależy przede wszystkim od liczby unikalnych próbek, a wielokrotna ekspozycja na te same dane przynosić ma malejące korzyści. Badania przeprowadzone na siedmiu dużych zbiorach - od satelitarnych obrazów (Maxar, SATLAS) przez dane autonomicznych pojazdów (Waymo, nuPlan) po dataset Ego4D i ImageNet - pokazały jednak że rzeczywistość jest bardziej złożona.
Okazało się że efekty powtarzanego trenowania są silnie zależne od charakteru zbioru danych. W niektórych scenariuszach intensywne trenowanie na mniejszym, losowym podzbiorze całej kolekcji generowało lepsze wyniki niż trenowanie na większym zbiorze unikalnych próbek. To odkrycie stanowi istotne ograniczenie istniejących praw skalowania i wskazuje że dotychczasowe wytyczne mogły być zbyt uproszczone.
W odpowiedzi zespół zaproponował zmodyfikowaną wersję prawa skalowania w stylu Chinchilla, które jawnie uwzględnia dwa parametry: liczbę unikalnych próbek oraz liczbę powtórzeń dla każdej próbki. Nowa formulacja powinna stanowić lepszą ramę teoretyczną do rozumienia wymiany między dostępnością danych a mocą obliczeniową. Badacze zaznaczyli jednak że ostateczne korzyści nie są spójne na wszystkich zbiorach - sposób wyboru podzbiorów i stosowanie augmentacji danych mają zmienne znaczenie w zależności od kontekstu.