Nowy benchmark LongDS-Bench pokazuje, że agenty AI mają poważne problemy z przeprowadzaniem złożonych, długoterminowych analiz danych. Badacze opracowali to narzędzie testowe, aby systematycznie ocenić, jak obecne systemy agentic radzą sobie z wieloetapowymi zadaniami analitycznymi, które wymagają utrzymywania kontekstu i logiki rozumowania przez dłuższy czas. Wyniki są dla branży dość niezręczne - okazuje się, że nawet zaawansowane agenty AI nie potrafią niezawodnie pracować nad skomplikowanymi wyzwaniami, które dla człowieka byłyby relativnie standardowe.
Problem sięga głęboko. Agenty nie tylko tracą wątek podczas pracy nad wieloma krokami naraz, ale także mają trudności z utrzymaniem spójności logicznego ciągu wnioskowania, kiedy zadanie wymaga kilkunastu lub więcej operacji wykonanych po kolei. To szczególnie problematyczne w rzeczywistych scenariuszach biznesowych, gdzie analitycy muszą na przykład czyszczać dane, łączyć kilka źródeł, przeprowadzać obliczenia a następnie wyciągać wnioski - wszystko przy zachowaniu poprawnego kontekstu. Benchmark LongDS-Bench precyzyjnie uwidacznia właśnie te niedostatki, mapując miejsca, gdzie systemy zawodzą.
Odkrycie to jest ważnym sygnałem ostrzegawczym dla firm myślących o masowym wdrażaniu agentów AI do pracy analitycznej. Oznacza, że przed zaufaniem takim narzędziom do poważnych zadań biznesowych będzie potrzebna znaczna praca nad architekturą, pamięcią kontekstową i zdolnościami planowania. Badania takie jak LongDS-Bench są kluczowe, bo zmuszają branżę do szczerości wobec ograniczeń obecnej technologii i pokazują konkretne kierunki, w których trzeba się rozwijać.