Naukowcy opracowali PROWL - nowoczesną metodę trenowania modeli świata, która opiera się na koncepcji regret-based optimization i skupia się na najcenniejszych dla uczenia doświadczeniach agenta. Zamiast uczyć się z wszystkich obserwacji w równym stopniu, algorytm inteligentnie wybiera które epizody są dla modelu najbardziej pouczające, co przypomina uczenie się człowieka - bardziej pamiętamy sytuacje, z których wyciągnęliśmy ważne wnioski. To podejście istotnie zmniejsza liczbę danych potrzebnych do wytrenowania efektywnego world modelu, co ma przełożenie na szybsze i bardziej ekonomiczne szkolenie agentów sztucznej inteligencji pracujących w skomplikowanych środowiskach.
PROWL wpisuje się w szerszą tendencję optymalizacji processów treningowych w reinforcement learning, gdzie modele świata - czyli systemy uczone prognozować konsekwencje działań - stanowią kluczowy element. Takie world modele pozwalają agentom planować strategie bez konieczności testowania każdego możliwego ruchu w rzeczywistości, co jest szczególnie ważne w scenariuszach, gdzie każda próba wiąże się z kosztami. Dotychczasowe podejścia traciły wydajność, bo równomiernie ważyły wszystkie doświadczenia, w tym te mało informatywne - teraz algorytm PROWL potrafi rozpoznać, które dane naprawdę wnoszą wartość.
Znaczenie tego odkrycia rośnie wraz z rosnącą złożonością zadań, które stają przed nowoczesnymi modelami AI. W praktyce może to oznaczać szybsze szkolenie robotów autonomicznych, bardziej wydajne systemy podejmujące decyzje w czasie rzeczywistym czy inteligentniejsze agenty do gier i symulacji. Redukcja wymaganej ilości danych treningowych to również mniejszy ślad węglowy procesów szkoleniowych oraz niższe koszty obliczeniowe - aspekty coraz ważniejsze w branży AI.