Agenty data science, które automatyzują projektowanie i wykonywanie analiz danych przy użyciu dużych modeli języka, są systematycznie oceniane jedynie na podstawie dokładności predykcyjnej i poprawności kodu. Jednak badacze z arXiv wykazali w artykule 2610.14115v1, że podejście to jest niewystarczające i maskuje poważne błędy metodologiczne takie jak wyciek danych czy niewłaściwa walidacja modeli.
Zespół przeanalizował 220 zadań data science za pomocą popularnych frameworków agentów i modeli, opracował również test suite z kuratowanymi zadaniami testującymi sześć specyficznych typów błędów w kontrolowanych warunkach, oraz jakościowo porównał potoki agentów z rozwiązaniami ekspertów z konkursu Kaggle. Wyniki są alarmujące: większość agentów zawiera co najmniej jeden błąd krytyczny niezależnie od złożoności harnessu czy mocy modelu. Szczególnie niepokojące jest stwierdzenie, że błędy wycieków danych korelują pozytywnie z lepszymi wynikami predykcyjnymi - agent może uzyskać doskonałą dokładność, ale w wyniku metodologicznie błędnego podejścia, które nie generalizuje się na nowych danych.
To badanie sugeruje, że obecne podejścia do ewaluacji agentów data science są fundamentalnie wadliwe. Skupianie się wyłącznie na wydajności predykcyjnej zaniedbuje kluczowe zasady nauki o danych - wiedzę metodologiczną i domenową. Wyniki wskazują na pilną potrzebę zmiany sposobu oceny autonomicznych systemów analitycznych, z większym naciskiem na kontrolę metodologiczną i zasadniczą poprawność procesu, a nie tylko na końcowe metryki.