Naukowcy zaprezentowali VERITAS - pierwszy ogólny system automatycznej weryfikacji wyników badań naukowych zbudowany wokół agentów CLI zdolnych do pisania kodu. Narzędzie przyjmuje artykuł naukowy i/lub repozytorium kodu, ekstrahuje kluczowe twierdzenia z publikacji, uruchamia metodologię badania, identyfikuje i naprawia problemy podczas wykonywania, a następnie porównuje obliczone wyniki z ewidentnością doświadczeń. Na koniec VERITAS generuje ważoną metrykę Replication Score, dziennik zmian z klasyfikacją nasilenia każdego naprawanego błędu oraz poprawiony kod źródłowy.
Obecnie mamy paradoks w nauce: artykuły publikują się szybko dzięki narzędziom AI, ale systemy recenzyjne nie nadążają z weryfikacją. Samo ręczne powtórzenie eksperymentów jest droga i czasochłonne, dlatego coraz więcej grup pracuje nad automatyzacją poprzez coding agenty. Problem polega na tym, że większość dotychczasowych rozwiązań to specjalistyczne benchmarki z własnymi agentami, które działają wyłącznie wewnątrz danego pipeline'u - brakuje powszechnego narzędzia.
Wyniki są imponujące: VERITAS przebił dwa mocne baseline'i oparte na Claude Code na tym samym modelu i środowisku, osiągając best-in-class wyniki na obu benchmarkach (CORE-Bench i ReplicationBench). Pula testowa obejmowała 65 prac z różnych dyscyplin - informatyki, nauk społecznych, medycyny i astrofizyki - co dowodzi uniwersalności podejścia. To znaczy, że system potrafi radzić sobie nie tylko z kodem, ale także z różnymi metodologiami badawczymi. Potencjalny wpływ jest duży: jeśli takie narzędzie stanie się powszechne, mogłoby istotnie poprawić jakość kontroli naukowej i zmniejszyć ilość niereprodukowalnych wyników, które trafiają do publikacji.