Agenci opierający się na dużych modelach językowych wykazują potencjał do automatyzacji skomplikowanych workflow data science, jednak dotychczasowe rozwiązania pozostawiają kluczowe komponenty niejawne, co utrudnia reproducibility i porównywanie wyników między różnymi narzędziami. DS-Lighting rozwiązuje ten problem poprzez wprowadzenie zunifikowanego frameworku, który czyni design harnessu jawnym i standaryzowanym.
Framework rozkłada harness na cztery odrębne warstwy. Warstwa data odpowiada za zarządzanie zbiorami danych, workflow definiuje sekwencje zadań, execution nadzoruje wykonanie operacji, a evaluation dostarcza metryk do oceny rezultatów. Agenci reprezentowani są jako programy operatorowe, wspierające zarówno predefiniowane pipeline jak i adaptywne wyszukiwanie rozwiązań. Integacja wielokrotnych open-source benchmarków w format MLE-Bench umożliwia kontrolowane porównania pod wspólnym interfejsem zadań.
Eksperymenty prowadzone na różnych agentach, harnesach i modelach LLM wykazały, że jawny design harnessu istotnie poprawia reproducibility, umożliwia miarodajne porównywanie wydajności oraz zmniejsza liczbę błędów systemowych w end-to-end workflow data science. Kod frameworku został udostępniony jako open-source na GitHubie, stanowiąc punkt odniesienia dla przyszłych badań nad automatyzacją analityki danych przy użyciu AI.