Naukowcy przedstawili metodę RENEW do reparacji modeli świata w offline reinforcement learning za pomocą ludzkiego feedbacku. Problem, który rozwiązują, to model exploitation - zjawisko polegające na tym, że modele świata zaczynają hallucynować dynamikę fizyczną w regionach o rzadkich danych, degradując jakość wygenerowanego doświadczenia. Zamiast zbierania więcej demonstracji eksperta lub stosowania konserwatywnych algorytmów, zespół zaproponował podejście bazujące na preferencjach człowieka.
Serce metody stanowi Dynamics Learning from Human Feedback (DLHF) - użycie Bradley-Terry preference loss nad log-likelihood trajektorii pod nauczonym modelem dynamiki. Kluczową obserwacją jest to, że ludzie mają bardzo dobrą intuicję fizyki i łatwo mogą zauważyć rażące halucynacje w dynamice. Jednak naiwne DLHF okazało się nieefektywne próbkowo, dlatego właśnie wprowadzono RENEW.
RENEW rozwiązuje problem efektywności przy pomocy niepewności epistemicznej - skupia fine-tuning modelu na miejscach, gdzie jest on najbardziej podatny na wyzysk. Eksperymenty na środowiskach Jumanji i klasycznych kontrolnych zadaniach wykazały, że podczas gdy naiwne DLHF wymagało ogromnego budżetu preferencji, RENEW czyni to podejście praktyczne poprzez poprawę efektywności próbkowania, ograniczenie katastrofalnego zapominania i redukcję wyzysku w pretrainowanych modelach świata. Wyniki wskazują na nowy kierunek adresowania problemów z offline model-based RL poprzez bezpośredni nadzór preferencji nad dynamiką modeli.