Naukowcy opublikowali MAMath-Bench, benchmark przeznaczony do oceny zdolności multimodalnego rozumowania matematycznego systemów opartych na wielu agentach LLM. Zbiór testowy zawiera 1003 problemy rozproszone w 11 kategoriach matematycznych z różnymi poziomami trudności i formami danych - tekst, obrazy oraz audio.
Nowy benchmark wprowadza nowatorskie podejście do ewaluacji poprzez ocenę trzech wymiarów: poprawności rozwiązywania problemów, niezawodności pośrednich kroków rozumowania oraz odporności na perturbacje łańcucha rozumowania. To istotnie przekracza dotychczasowe praktyki, które skupiały się głównie na poprawności finalnych odpowiedzi w ustawieniach tekstowych. Takie detailowe podejście okazuje się kluczowe dla aplikacji edukacyjnych, gdzie nie wystarczy sama dobra odpowiedź - istotna jest możliwość weryfikacji i wyjaśnienia procesu rozwiązywania.
Pierwsze wyniki badań przynoszą ważne spostrzeżenia dla społeczności pracującej nad systemami wieloagentowymi. Okazuje się, że współpraca między agentami nie zawsze poprawia dokładność ostatecznych odpowiedzi w porównaniu z silnymi pojedynczymi modelami LLM, podważając popularne założenie o przewadze systemów wieloagentowych. Jednak współpraca może znacząco zwiększyć pokrycie i jakość pośrednich kroków rozumowania, chociaż te zyski mogą wiąże się z kompromisami w innych metryach.