Zespół badawczy przetestował założenie, że wydzielona rola recenzenta w hierarchicznych systemach agentowych powinno poprawiać rozwiązywanie problemów matematycznych. Wykorzystując 4181 problemów z benchmark'u Omni-MATH i model gpt-oss-120b, porównali podejście planner-executor-reviewer (PER) z otwartą dyskusją peer-to-peer między agentami. Wyniki pokazały, że na łatwych zadaniach współpraca nie dodawała wartości, ale od poziomu czwartego trudności i wyżej różnice stały się wyraźne - rozproszona dyskusja między równorzędnymi agentami osiągnęła wyższą ostateczną dokładność niż tradycyjny pipeline recenzenta.
Key finding: recenzent w systemie PER wykazywał wyższą precyzję (86,1 proc. vs 64,4 proc.), ale jego krytyka rzadko zmieniała następny kandydujący problem i prowadziła do słabszych napraw. Naukowcy wykazali empirycznie, że jakość detektowania błędów i faktyczne przyjęcie krytyki to odrębne zjawiska. Gdy zmuszono agentów do jawnego potwierdzenia uwag recenzenta, dokładność spadła, a wbudowanie wytycznych recenzenta bezpośrednio w kontekst roboczego procesu rozwiązującego jedynie częściowo poprawiło sytuację.
Wniosek ma istotne implikacje dla projektowania systemów AI: wysokaprecyzja w ocenie nie wystarczy - kluczowe jest, czy system faktycznie działa na podstawie otrzymanej krytyki. Tradycyjne oceny oparte na precyzji recenzenta mogą przeszacowywać jakość protokołów, które dobrze identyfikują problemy, ale nie ulepszają rozwiązań. Badanie sugeruje, że bardziej rozproszone, kolaboratywne podejścia mogą być bardziej efektywne niż hierarchiczne struktury z wyspecjalizowanymi rolami.