Czy rekurencyjne konstruowanie wiedzy pomaga agentom weryfikować konsensualne twierdzenia naukowe?

Naukowcy zbadali, jak agenci naukowi mogą efektywniej weryfikować konsensus wokół twierdzeń nauk empirycznych poprzez recursywne konstruowanie wiedzy z otwartej literatury. Zespół zbudował nowy dataset ProClaim-eval zawierający 718 roszczeń naukowych z etykietami SUPPORT i REFUTE pochodzącymi z pięciu ekspertyzowych baz danych obejmujących biologię molekularną, fizykę jądrową i astronomię.

Kluczową innowacją systemu ProClaim jest przechowywanie stanu dowodów poza kontekstem modelu językowego, co umożliwia niezależne badanie dwóch kluczowych aspektów: czego agent buduje podczas iteracji (jaki typ dowodów gromadzi) oraz co kontroluje proces zatrzymania (czy model powinien mieć ustalone rundy czy trained judge). Wyniki wykazały, że przechowywanie stanu dowodów na zewnątrz zapewnia znaczną przewagę w stosunku do akumulacji wewnątrz kontekstu, a sędziowie przeszkoleni oddzielnie osiągają lepsze wyniki niż proste kryteria zatrzymania.

ProClaim zajmuje miejsce w top trzech systemów na tej skomplikowanej zadaniu weryfikacji, znacząco przewyższając ogólnego przeznaczenia harnesses dla agentów. Badanie wskazuje, że sposób budowania wiedzy przez agentów ma rzeczywisty wpływ na jakość weryfikacji naukowych roszczeń, a odpowiedni design rekurencji jest krytyczny dla ulepszenia tego rodzaju systemów decyzyjnych opartych na wiedzy.