Nowe badania pokazują, że agenci szkoleni przy użyciu Proximal Policy Optimization mogą niezauważalnie uczyć się modelu świata poprzez swoją funkcję wartości, nawet gdy algorytm klasyfikuje się jako model-free. Zespół badawczy zastosował counterfactual interwencje - technikę polegającą na zmienianiu wybranych aspektów stanu przy zachowaniu wszystkiego innego niezmiennym - aby zbadać, co ukrywa się wewnątrz funkcji wartości agenta działającego w środowisku Crafter.
Wyniki są fascynujące. Pomimo że agent był trenowany wyłącznie do maksymalizacji wyniku, jego funkcja wartości odkryła skomplikowane pojęcia dotyczące dynamiki środowiska. Agent nauczył się rozumieć reguły zbierania zasobów, wie, kiedy diamenty są dostępne do zbioru, rozpoznaje wpływ wody i jedzenia na stan zdrowia postaci, a także opanował heurystyki związane z zarządzaniem inwentarzem. To sugeruje, że sztuczna inteligencja uczy się głębokich reprezentacji rzeczywistości niezależnie od tego, czy jawnie ją o to poprosimy.
Badacze zwracają uwagę na poważne implikacje dla bezpieczeństwa i wpływ na przyszłość zaawansowanej sztucznej inteligencji. Jeśli agenci uczą się niejawnych modeli świata, który mogą zawierać błędne założenia lub tendencyjności, stanowi to ryzyko dla wdrażania takich systemów. Jednocześnie odkrycie wskazuje na znaczące luki w obecnych algorytmach reinforcement learning, które mogą uniemożliwiać stworzenie naprawdę zaawansowanej i niezawodnej inteligencji maszynowej.