Naukowcy przeprowadzili obszerną diagnostykę metod Scientific Machine Learning, testując pięć rodzin modeli - ARIMA, LSTM, NODE, PINN i UDE - na macroeconomic forecasting dla 23 krajów przy użyciu rzadkich danych rocznych. Rezultaty jednoznacznie pokazały że mniej ograniczone modele takie jak ARIMA i NODE konsekwentnie generują lepsze prognozy niż bardziej restrykcyjne modele physics-informed takie jak PINN i UDE.
Kluczowa obserwacja brzmi: strukturalne priors - poprzednia wiedza teoretyczna o procesach fizycznych czy ekonomicznych wbudowana w model - mogą działać jako misregularizers gdy nie odpowiadają rzeczywistemu procesowi generującemu dane. To nie oznacza że SciML jest niepotrzebny, lecz że wymaga bardziej ostrożnego podejścia. Badacze wyidentyfikowali konkretne przyczyny problemów: niezgodność między założonymi priorsami a rzeczywistością, zmiany reżimu w danych, strukturalne przerwy czasowe i niestabilności w procesie optymalizacji sieci neuronowych.
Wniosek dla praktykow: zamiast automatycznie zakładać że więcej struktury teoretycznej w modelu oznacza lepsze wyniki, należy empirycznie testować czy dodane constrinty rzeczywiście pomagają. To stanowi ważne ostrzeżenie dla rosnącej popularności physics-informed deep learning - bez upewnienia się że nasz teoretyczny model rzeczywiście opisuje dane, możemy sobie zaszkodzić bardziej niż pomóc.