Naukowcy przetestowali sześć narzędzi AI w pełnym procesie przeglądu literatury naukowej - od wyszukiwania artykułów, przez interpretację i syntezę aż do proponowania kierunków badań. Podstawą był opublikowany przegląd dotyczący wzorca pogodowego Spanish plume z korpusem 102 artykułów. Wyniki pokazały, że żadne narzędzie nie dominowało we wszystkich zadaniach, a każde miało istotne ograniczenia.
W fazie wyszukiwania pięć testowanych narzędzi wspólnie zidentyfikowało 57 artykułów z całego zbioru, przy czym najlepsze indywidualnie narzędzie znalazło 42. Dodanie dostępu do bibliotek instytucjonalnych znacząco poprawiło wyniki - Codex przeskoczył z 42 do 82 artykułów, a Claude Code wzrósł z 15 do 79. To pokazuje, że dostęp do pełnych tekstów jest kluczowy dla efektywności LLM w takiej pracy. Podczas interpretacji korpusu trzy narzędzia prawidłowo zidentyfikowały wszystkie 18 artykułów omawiających Spanish plume w istotny sposób, ale jednocześnie błędnie sklasyfikowały jako znaczące 40-79 procent z pozostałych 84 powierzchownych wzmianek.
Syntesy przygotowane przez narzędzia były zasadniczo poprawne, ale eksperci dziedziny ocenili je jako mało wnikliwe i zawierające problematyczne elementy. Widoczne były błędy cytatów, nieuzasadnione twierdzenia i przesadzone stwierdzenia o konsensu naukowym. Wszystkie trzy narzędzia proponowały kierunki badań wykraczające poza literaturę dotyczącą Spanish plume, choć dwa z nich zbliżyły się do pytań zidentyfikowanych w głównym przeglądzie. Badacze sformułowali osiem rekomendacji dla naukowców wykorzystujących narzędzia AI w recenzjach literatury.