SteelAgent to nowy system do przewidywania właściwości stali, który łączy cechy opisujące metalurgię, modele machine learning i interfejs oparty na dużych modelach języka. Pozwala nie tylko na prognozowanie, ale także raportowanie niepewności i odwrotne projektowanie - czyli przewidywanie składu stali o pożądanych właściwościach.
Badacze przeprowadzili rzetelną ocenę systemu, testując go w różnych scenariuszach. Odkryli fundamentalny problem: gdy losowo dzielą dane, gradient boosting osiąga R² 0,859, ale gdy wyłączą całe rodziny stali jako nieznane, wydajność pada do zaledwie 0,113. Podobnie drogo wygląda z przedziałami ufności - przy losowym podziale 90-procentowe przedziały przewidywalności obejmowały 91% wyników, ale na wyłączonych źródłach tylko 37,6%. To pokazuje, że modele całkowicie gubiły pewność na nowych danych.
Ciekawe jest też, że wpływ cech opartych na fizyce był zmenny. W analizie z 17 rodzinami stali zwiększyły R² o 0,2534, ale w innym teście laboratoryjnym zmniejszyły je o 0,358. Badacze argumentują, że raportując wyniki modelu, trzeba zawsze ujawniać, na jakiej populacji danych oceniano - inaczej prognoza może być pozornie pewna, ale całkowicie bezużyteczna w praktyce.