Naukowcy z arXiv stworzyli Agent4Sci, testbed mierzący jak daleko dzisiejsze agenty AI mogą posunąć się w ulepszaniu rzeczywistych modeli machine learning na benchmarkach naukowych. Badanie obejmuje 20 benchmarków z 11 różnych dziedzin naukowych i pyta nie tyle który agent jest najlepszy, ale jakie postępy mogą zrobić w naturalnych warunkach pracy i gdzie zawodzą.
Frontierowe agenty takie jak Claude Opus rzeczywiście ulepszały każdy benchmark - osiągając średnią poprawę 10.4% względem publikowanych wyników. Problem w tym, że te zyski pochodzą niemal w całości z typowych sztuczek ML-inżynierskich: tuningu hiperparametrów, zmiany architektur, usuwania błędów. Analiza trajektorii agentów ujawniła trzy główne problemy: agenty źle kalibują swoją zdolność do nowatorskich rozwiązań, nie wykorzystują pełnie dostępnych zasobów, i szybko zapadają się w lokalne optymalizacje. To pokazuje lukę między przechwytywaniem przyzwyczajonych technik inżynierskich a rzeczywistą nauką.
Najciekawsze odkrycie: gdy dodano lekkie plug-in umiejętności do ideacji naukowej, zarządzania eksperymentami i zaplanowanych kontrolek, Claude Opus wyskoczył z 10.4% na 20.1% poprawy, a Codex z 4.4% na 8.1%. Co ważne, ulepszenia były bardziej zróżnicowane i trafne dla domeny - agenty zaczęły myśleć jak naukowcy, a nie jak inżynierowie. Agent4Sci daje społeczności naukowej konkretny sposób na śledzenie i popychanie granic agentów od czystej inżynierii ML ku rzeczywistemu wkładowi naukowym.