Naukowcy opracowali EFXPLORER, nową metodę wspierającą naukę kooperacyjnego zachowania w multi-agentowych systemach uczenia się przez wzmacnianie. Problem, którym się zajęli, tkwi w wykombinatoryzowanej złożoności wspólnych przestrzeni stanu i akcji - maszyny próbują się nauczyć współpracy poprzez metodę prób i błędów, ale to zbyt wolne i nieskuteczne.
Dotychczasowe podejścia stosowały nagrody wewnętrzne, aby wspomóc odkrywanie kooperacyjnych strategii, ale prostych ich dodanie do głównych celów zespołowych zmniejszało wydajność systemu. EFXPLORER rozwiązuje to poprzez kontrolowaną eksplorację - stanowi ona zadanie optymalizacyjne z ograniczeniami, które ma maksymalizować eksplorację, jednocześnie chroniąc już ustalone wyniki zadań. Framework wykorzystuje reformulację epigrafową, która wprowadza adaptacyjne budżety eksploracji i reguluje poszukiwanie nowych strategii poprzez sprawdzanie wykonalności zadań. Dodatkowo metoda incorporates nagrodę opartą na dystansie następnika, która uchwytuje długotrwałe zależności i zachęca do dłuższych, bardziej różnorodnych sekwencji eksploracyjnych.
Metoda została przetestowana na trzech popularnych benchmark'ach: SMAX, VMAS i MPE. W każdym z nich EFXPLORER przewyższył silne bazowe rozwiązania i zaindukował całkowicie nowe, nigdy wcześniej nieobserwowane strategie kooperacyjne. To sugeruje, że podejście mogłoby być istotne dla bardziej złożonych, rzeczywistych scenariuszy wieloagentowych, gdzie współpraca jest kluczem do sukcesu.