Naukowcy opracowali nową metodę treningową o nazwie CoFi-PGMA, która znacznie poprawia efektywność uczenia się systemów Multi-Agent opartych na dużych modelach językowych. Podejście łączy kontrfaktyczne gradienty polityki z inteligentnymi mechanizmami filtrowania feedbacku, co pozwala modelom na lepsze koordynowanie działań w środowiskach wieloagentowych.
Problem, który rozwiązuje CoFi-PGMA, dotyczy wyzwań związanych z treningiem wielu agentów AI pracujących równocześnie. Kiedy LLM-y muszą współpracować ze sobą, tradycyjne metody uczenia przez wzmacnianie mają trudności z rozdzielaniem odpowiedzialności za wyniki - agenci nie potrafią dobrze zidentyfikować, które konkretnie ich decyzje miały wpływ na ostateczny rezultat. Kontrfaktyczne gradienty polityki rozwiązują ten problem poprzez obliczanie alternatywnych scenariuszy: "co by się stało, gdyby agent podjął inną decyzję?". To pozwala modelom precyzyjniej zrozumieć konsekwencje swoich działań.
Dodanie filtrowania feedbacku do tego podejścia oznacza, że system odrzuca lub przywładuje sygnały szkoleniowe, które mogą być misleadingiem lub szumem. W praktyce to oznacza szybsze zbieganie się treningu, mniej potrzebnych iteracji i ogólnie większą efektywność zasobów. Metoda ma znaczenie dla rozwoju bardziej inteligentnych systemów multiagentowych, które mogą współpracować nad skomplikowanymi zadaniami - od analizy danych po rozwiązywanie problemów wymagających koordynacji. Tego rodzaju postępy w efektywności treningowej mogą przynieść korzyści zarówno w badaniach naukowych, jak i w praktycznych zastosowaniach AI w biznesie.