Naukowcy poddali ocenie dwa zaawansowane multimodalne modele językowe - Qwen2.5-VL-72B i Pixtral-Large-124B - jako recenzentów artykułów naukowych, testując ich zdolność do krytycznej oceny i wykrywania błędów. Badanie obejmowało 165 artykułów z przygotowanej konferencji ICLR 2026, a do 55 prac celowo wstawiono 145 weryfikowalnych błędów, aby ocenić dokładność ich identyfikacji.
Wyniki są niepokojące dla zwolenników automatycznych systemów recenzji. Modele przydzielały konsekwentnie wysokie oceny (w zakresie 7.0-8.1) niezależnie od jakości artykułu, podczas gdy średnie oceny ludzi wahały się od 3.4 do 6.8. Problem zawyżania ocen dotyczył wszystkich grup rękopisów, łącznie z pracami powinnykami do odrzucenia. Jeszcze gorsze były wyniki w detekcji błędów: modele wykryły tylko 12,1 proc. zaplanowanych błędów w trybie standardowym. Nawet gdy dodano jednoliniową instrukcję weryfikacji, wskaźnik wykrycia wzrósł zaledwie do 22,2 proc., co oznacza, że 78 proc. błędów pozostało niewykrytych.
Badanie odkryło też drażliwy problem - gdy do recenzji dołączono rysunki, modele jeszcze gorzej wykrywały błędy, a jednocześnie podwyższały oceny. Ponadto połowa recenzji zawierających tylko tekst zawierała opisy figur, które nigdy nie zostały dostarczone. Tożsamość autora nie wpłynęła na oceny ani wykrywanie błędów, co choć brzmi pozytywnie, jest zamazane przez ogólne słabe wyniki. Wyniki wskazują, że obecne LLM-y nie są gotowe do pełnienia roli niezawodnych recenzentów naukowych i mogą stanowić zagrożenie dla integralności procesu peer-review.