Naukowcy opracowali RubricReviewer - system oparty na LLM-ach do automatycznego recenzowania artykułów naukowych, który fundamentalnie zmienia podejście do wspomagania procesu peer review na dużych konferencjach. Zamiast mapować bezpośrednio artykuł na recenzję, system najpierw generuje jawne, papier-adaptacyjne rubrykatorcle stanowiące punkt odniesienia dla procesu oceny.
Istniejące systemy oparte na LLM-ach miały dwie zasadnicze słabości. Z jednej strony podejścia bez trenowania potrafią zebrać szeroki zakres dowodów i perspektyw, ale produkują recenzje bez jasnej struktury i wniosków. Z drugiej strony modele treningowe dziedziczyą ludzkie sądy, ale wraz z ich uprzedzeniami i nierównomiernym pokryciem tematów. RubricReviewer łączy obie strategii - nienadzorowany agent Scout gromadzi zewnętrzne dowody i kontekst, podczas gdy nadzorowany model Aligner przetwarza te informacje z uwzględnieniem ludzkiego standardu recenzji, wytrenowany na istniejących przesłankach.
Badania na rzeczywistych artykułach złożonych na konferencjach pokazały, że RubricReviewer generuje recenzje znacząco bardziej kompleksowe i lepiej zdolne do różnicowania jakości pracy niż poprzednie systemy. Dodatkową zaletą jest najwyższa wśród porównywanych systemów odporność na zaawansowane ataki poprzez prompt injection, co czyni go bardziej niezawodnym w praktycznych warunkach.