Zespół badawczy przeprowadził systematyczne badanie, jak skalowanie wpływa na uczenie się agentów embodied w różnych wirtualnych światach, szczególnie przy użyciu ciągłego pre-trainingu. Testowano 120 konfiguracji obejmujących cztery rozmiary modeli (od 0.8B do 27B parametrów), sześć budżetów danych (od 50 do 1600 godzin treningowych) i pięć kombinacji danych - od samych danych z Minecrafta po zróżnicowane korpusy z wielu światów.
Wyniki ujawniają kilka kluczowych spostrzeżeń. Więcej danych bezpośrednio poprawia wydajność w świętach treningowych, ale diversity danych znacząco wspiera transfer do powiązanych światów. Paradoksalnie, większe modele uczą się bardziej efektywnie z dostępnych danych, ale generalizują gorzej na zupełnie nieznane, odległe światy podczas treningu na pojedynczych światach. Badacze zaobserwowali dwie fazy entwicklowania: wcześniejszą fazę interfejsu z szerokim transferem wiedzy między różnymi światami oraz późniejszą fazę świata, gdzie zyski ograniczają się do środowisk treningowych i zbliżonych.
Modele opracowane w badaniu osiągają konkurencyjne wyniki wobec specjalizowanych botów Minecraft i modeli frontier w 3D, a najlepiej sprawdzają się w rzeczywistych scenariuszach czasowych. Badanie definiuje empiryczne prawa skalowania wiążące validation loss z objętością danych, ich różnorodnością i rozmiarem modelu, stanowiąc krok w kierunku lepszego zrozumienia, jak skalowanie wpływa na uczenie się agentów w różnych środowiskach.