Badacze z arXiv pokazują, że tradycyjne podejście do oceny estymatorów funkcji uciążliwości w wnioskowaniu przyczynowym - polegające na mierzeniu błędu predykcji - nie zawsze prawidłowo odwzorowuje rzeczywistą wydajność causalną. W badaniu porównano cztery popularne metody: zwykłą regresję liniową (OLS), uogólnione modele addytywne (GAM), XGBoost i Double Machine Learning z XGBoost (DML-XGBoost), oceniając je na modelach półliniowych za pomocą symulacji Monte Carlo.
Wyniki były zaskakujące. XGBoost osiągnął najniższy błąd RMSE spośród metod bez dostępu do danych Oracle'a, jednak DML-XGBoost zapewnił lepsze pokrycie przedziałów ufności 95%. Kluczowe odkrycie: błąd predykcji nie konsekwentnie śledzał bias przyczynowy między metodami i scenariuszami. Nawet metoda z najlepszą wydajnością w estymacji punktowej niekoniecznie miała najlepsze pokrycie przedziałów ufności. Próba stworzonej prostej miary błędu łącznego - opartej na iloczynu krzyżowym błędów estymacji z funkcji uciążliwości ekspozycji i wyniku - wykazała jedynie słabą asocjację z bias'em przyczynowym i nie sprawdziła się jako samodzielny wskaźnik jakości.
To badanie stawia ważne pytanie dla praktyki: wychodząc poza niuanse statystyczne, należy być ostrożnym przy poleganiu wyłącznie na błędzie predykcji do oceny jakości estymatorów w wnioskach przyczynowych. Naukowcy konkludują, że chociaż błąd predykcji jest przydatny przy opracowaniu funkcji uciążliwości, nigdy nie powinno się go traktować jako bezpośrednią, całościową miarę jakości finalnego estymatora przyczynowego.