Naukowcy z arXiv opublikowali system SAGE - Schema-Guided Aspect-Based Grant Evaluation - który automatyzuje ocenę wniosków o granty finansowe. System bierze rubryką recenzji i tłumaczy ją na strukturalne kontrole, które sprawdzają się w dokumentach aplikacyjnych, tworząc oceny powiązane z konkretnymi dowodami.
W pierwszym etapie testów na 35 wnioskach od organizacji non-profit system wykazał umiarkowaną zgodność z 105 oryginalnymi ocenami z konkursu (kappa = 0,29). Jednak w drugiej fazie, gdy fundacja ponownie przeanalizowała wnioski z pomocą SAGE, wyniki dramatycznie się poprawiły. System osiągnął kappa = 0,58 i znacznie przewyższył prosty baseline oparty na pojedynczych podpowiedziach (kappa = 0,33), wykazując również wyższą korelację rang i niższy błąd.
SAGE nie zastępuje człowieka, ale wspiera recenzentów, tworząc szczegółowy, audytowalny szkic oceny powiązany z konkretnymi fragmentami wniosku. Dodatkowa kontrola na poziomie poszczególnych stwierdzeń identyfikuje potwierdzone, kwestionowane i nieadresowane części oceny. To podejście ma potencjał, by uczynić proces przyznawania dotacji bardziej przejrzystym, konsekwentnym i łatwiejszym do weryfikacji dla wszystkich stron zaangażowanych w przydzielanie funduszy.