Naukowcy przedstawiają nową konceptualizację world models w uczeniu ze wzmacnianiem, skupiającą się na tym, które kanały są modelowane, a nie wyłącznie na zmiennych predykcji. Zamiast tradycyjnego podejścia, które skupia się na obserwacjach, nagrodach czy stanach, autorzy wyróżniają trzy zasadnicze kanały: kanał środowiska (odpowiedź na akcje agenta), kanał agenta (jego zachowanie względem obserwacji) oraz realizowany proces wspólny agent-środowisko bez wejścia zewnętrznego.
W pracy wykorzystano computational mechanics do zdefiniowania kanonicznych modeli predykcyjnych dla każdego z trzech przypadków jako epsilon-transducerów lub epsilon-maszyn. Kluczowe odkrycie dotyczy relacji między tymi modelami: kanoniczne modele środowiska ograniczone wsparciem zdyskontowanych interakcji faktycznie faktycyzują się poprzez kanonicze wspólne stany przyczynowe pochodzące z modelu wspólnego. To oznacza, że struktura przejść środowiska jest indukcją bezpośrednią ze wspólnego modelu, a konstrukcja agent jest jej dualnym odpowiednikiem. Pokazano to na konkretnym przykładzie POMDP-kontrolera, gdzie nierestrakcyjny model środowiska miałby nieskończenie wiele stanów, natomiast kanoniczny model wspierany sprzężeniem zamkniętym okazuje się skończony.
To badanie ma głębokie implikacje dla teorii reinforcement learning. Wyjaśnia fundamentalne struktury relacji między agentem a środowiskiem w model-based learning, potencjalnie otwierając drogę do bardziej efektywnych algorytmów, które mogą operować na skończonych reprezentacjach nawet w złożonych środowiskach.框架teoretyczny może być szczególnie ważny dla systemów z częściową obserwowalnością, gdzie tradycyjne podejścia do modelowania mogą prowadzić do redundancji reprezentacyjnej.