Naukowcy analizowali, jak grafy interakcji między otwartowagowymi modelami językowymi wpływają na zdolność populacji do osiągnięcia konsensusu i uniknięcia fragmentacji. Eksperymenty przeprowadzono z populacjami modeli Qwen2.5 i innych architektur o rozmiarach od 1.1 miliarda do 32 miliardów parametrów, używając protokołu gry nazewniczej do mierzenia formowania się konwencji.
Kluczowe odkrycie: homofilia - routing preferujący połączenia między podobnymi modelami - amplifikuje fragmentację populacji i uniemożliwia osiągnięcie wspólnego konsensu. W jednym z testów z czterema różnymi modelami routing oparty na podobieństwie stanu nie doprowadził do żadnego końcowego konsensu w 189 uruchomieniach, podczas gdy routing tworzący mosty między grupami odbudowywał konsensus w 14 na 18 scenariuszach. Ciekawym przypadkiem jest jednolita populacja Qwen2.5-32B, która osiągnęła stabilny konsensus w wszystkich 18 dobrze mieszanych ustawieniach z zachowaną historią, a zero razy przy routing opartym na podobieństwie.
Wyniki mają istotne implikacje dla systemów wieloagentowych opartych na modelach języowych. Zachowywanie historii interakcji okazało się niezbędne do przesunięcia dynamiki z fragmentacji w stronę konsensusu. Badanie pokazuje, że topology grafu nie powinna być traktowana jedynie jako szczegół implementacyjny, ale jako kluczowy czynnik determinujący zbieżność zachowań w rozproszczonych systemach LM.