Badacze zaprezentowali FIRSTPASS, pierwszy kompleksowy dataset peer review obejmujący 3668 przypadków z Nature Communications. Dane pochodzą z pełnych, wieloetapowych dialogów redakcyjnych i zawierają początkowe recenzje, szczegółowe odpowiedzi autorów oraz ponowne oceny recenzentów. Każdy record ma przypisaną etykietę będącą bezpośrednim wynikiem decyzji redakcji - STANDARD dla dwurundy i EXTENDED dla trzech lub więcej rund.
Unikatowość FIRSTPASS wynika z jego multidyscyplinarności. Dotychczasowe zbiory treningowe dla systemów AI opierały się wyłącznie na recenzjach z konferencji informatycznych, co oznacza, że modele nigdy nie widziały biologa требujących kontroli zanieczyszczeń, chemika kwestionującego przypisania spektralne NMR czy fizykę dyskutującą o subtelnościach w doświadczeniach. Dataset obejmuje pięć dyscyplin: biologię, chemię, neuronaukę, fizykę i nauki o Ziemi. Średnia recenzja naukowa w zbiorze to 2155 słów - znacznie dłużej niż typowe oceny z konferencji.
Wydanie FIRSTPASS to kamień milowy dla benchmarkowania sztucznej inteligencji w ocenie pracy naukowej. Naukowcy udostępniają kompletne dane, pipeline'y parsowania i skrypty do oceny, co umożliwi reproducible badania. Zbiór został zbudowany na recenzjach ze zmienionego w listopadzie 2022 systemu Nature Communications, który wymaga przejrzystości procesu recenzji. Automatyczne audyty potwierdzają 100-procentową integralność zawartości, co gwarantuje wiarygodność etykiet danych i możliwość wdrażania bardziej wyspecjalizowanych modeli AI dla poszczególnych dziedzin naukowych.