Naukowcy z arXiv zaproponowali nowatorskie podejście do problemu decydowania, kiedy agenty powinny wymienić informacje w wieloagentowych systemach uczenia przez wzmacnianie. Zamiast komunikacji ciągłej lub używania niestabilnego REINFORCE gradient estymowania bramki binarnej, nowa metoda opiera się na rozbieżności Kullbacka-Leiblera między rozkładami przekonań agentów dotyczących ukrytego stanu świata.
Każdy agent utrzymuje rozkład przekonań obliczony na podstawie ukrytego stanu sieci LSTM i komunikuje się z innymi agentami tylko wtedy, gdy niezgoda w przekonaniach przekracza ustalony threshold. To podejście jest bardziej zasadnicze niż dotychczasowe heurystyki - zamiast losowo decydować czy komunikować, agenty stosują matematyczną miarę rzeczywistego rozbieżności w ich wiedzy. W testach na trudniejszej wersji Predator-Prey na planszy 20x20 metoda z thresholdem epsilon równym 0.5 osiągnęła 73.84 średnich kroków z 42 procentowym wskaźnikiem sukcesu, co stanowiło znaczną poprawę wobec IC3Net osiągającego 75.31 kroków i 31 procent przy tym z tymże zmniejszoną wariancją między eksperymentami.
Podejście jest szczególnie obiecujące ze względu na interpretowalne kryteria komunikacji i potencjalne zastosowania w systemach wieloagentowych wymagających efektywności. Wyniki sugerują, że stosowanie rozbieżności KL jako kryterium komunikacji może prowadzić do bardziej stabilnych i lepszych wyników, zwłaszcza w bardziej skomplikowanych scenariuszach. Dalsze badania mogą zbadać, jak ta metoda skaluje się do większych systemów i czy inne miary rozbieżności informacyjnej mogą być równie efektywne.