Zespół badawczy opracował REDI, otwarty framework rozwiązujący problem automatyzacji przygotowywania danych naukowych do trenowania sztucznej inteligencji. System ujednocza pięć etapów przetwarzania - ingestję, preprocessing, transformację, strukturalizację i output - z wbudowanymi narzędziami do śledzenia zmian i reprodukowalności każdego kroku. REDI działa również jako skill dla agentów AI, co oznacza, że autonomiczne systemy mogą go wywoływać bezpośrednio w swoich przepływach pracy.
Do frameworka dołączono SetGo, narzędzie automatyzujące zgodność z zasadami FAIR (Findable, Accessible, Interoperable, Reusable) i publikację w katalogach danych. Naukowcy przetestowali REDI na zbiorach z różnych dziedzin: modelach klimatycznych, analizie białek, nauce o materiałach i badaniach fuzji jądrowej. Wszystkie zestawy danych udało się przekształcić ze stanu surowego do stanu gotowego do AI, a wyniki zostały zwalidowane przez ekspertów domeny. Na superkomputerze Frontier system wykazał prawie idealne skalowanie równoległe aż do 100 węzłów w przypadku danych klimatycznych.
Analiza profilowania pokazała, że operacje wejścia-wyjścia na dysku stanowią dominujący koszt całego pipeline'u, co oznacza, że wybór formatu pliku jest kluczową dźwignią optymalizacji. REDI pozycjonuje się jako platforma cross-domainowa, która zamienia problematyczne przygotowywanie danych - tradycyjnie czasochłonne i powtarzalne zadanie - w zautomatyzowany, poddający się audytowi i łatwy do ponownego wykorzystania zasób dla całej społeczności naukowców pracujących z dużymi zbiorami danych.