Naukowcy z arXiv przedstawili nowy problem w ewolucji agentów AI: przy rozszerzaniu puli zadań treningowych wydajność istniejących metod zamiast rosnąć - maleje. To paradoksalne odkrycie pokazuje, że nie zawsze więcej danych treningowych oznacza lepsze wyniki.
Problem leży w nieprawidłowym wyborze danych ewolucyjnych podczas optymalizacji. Różne kombinacje danych historycznych z wykonań zadań prowadzą do istotnie różnych rezultatów ewolucji agenta. Zespół zaproponował więc Successive Scale Racing - framework, który w każdej rundzie ewolucji adaptacyjnie szuka optymalnych kombinacji danych. SSR konstruuje różnorodne kombinacje na podstawie jakości i pokrycia odpowiednich zadań, następnie efektywnie testuje powstałe warianty harnessu agenta w ramach ograniczonego budżetu obliczeniowego.
Wyniki eksperymentów na trzech odrębnych benchmarkach pokazują, że SSR uzyskuje najlepsze dotychczasowe rezultaty we wszystkich sześciu konfiguracjach. Kluczowa obserwacja: kiedy liczba zadań w puli wzrosła z 40 do 200, wydajność SSR systematycznie poprawiła się z 64,3% do 68,3%, podczas gdy metody bazowe zanotowały spadek. Dodatkowo mechanizm racing w SSR identyfikuje bliskie optymalności kandydatów przy jednoczesnym zmniejszeniu wykonań walidacyjnych o 60%.