Naukowcy prowadzeni przez Petera Kirgisa i Sayasha Kapoora z Princeton University wykazali, że agenty AI osiągają się w rozwiązywaniu konkretnych problemów inżynierskich potrzebnych do badań nad AI, ale brakuje im osądu i kreatywności do produkcji oryginalnych badań na poziomie prac akceptowanych przez czołowe konferencje branżowe.
Industrią AI ostatnio dominuje obietnica, że systemy będą wkrótce samoczynnie się ulepszać z minimalnym nadzorem człowieka. Modele takie jak GPT już potrafią pisać kod, generować syntetyczne dane trenujące i optymalizować fizyczną infrastrukturę, na której działają. To napędzało prognozy o gwałtownym przyspieszeniu postępu AI poprzez zjawisko zwane rekurencyjnym samoulepszaniem się - gdzie AI ulepsza samo siebie w coraz szybszym tempie.
Ale badanie sugeruje, że droga do takiego scenariusza jest znacznie dalsza niż się powszechnie zakłada. Istniejące badania nad automatyzacją badań AI skupiają się głównie na zadaniach o jasnych odpowiedziach - rozwiązywaniu inżynierskich problemów czy testowaniu małych modeli względem benchmarków. Rzeczywistość badań naukowych wymaga jednak myślenia otwartego: wyboru hipotez, decydowania jakie dowody rozstrzygnęłyby pytanie czy interpretacji niespodziewanych wyników. To właśnie wymiary, w których obecne agenty AI zawodzą. Luka ta sugeruje, że wiele entuzjastycznych harmonogramów automatyzacji badań nad AI biegnie znacznie przed aktualnym stanem wiedzy.