Badacze z arXiv stworzyli nowy instrument diagnostyczny, który z jednego dopasowania modelu i bez dostępu do danych oraculum potrafi stwierdzić, czy operator w hybrydowych estymatorach parametrów jest źle określony. Kluczową cechą tego podejścia jest zdolność do rozróżnienia między błędną specyfikacją modelu a niezidentyfikowanymi parametrami - dwa odrębne problemy, które zwykle generują podobne objawy.
W eksperymentach na samosprzężonym parabolicznym problemie odwrotnym metoda osiągnęła imponujące rezultaty. Statystyka macierzy informacji z plug-in skalą wykazała medianę 0,19 przy prawidłowej specyfikacji operatora z wskaźnikiem odrzuceń 0,033 wobec ustalonego pułapu 0,10. Gdy model był źle określony, wartość statystyki rosła do 224 i 85, aktywując się w każdej powtórce eksperymentu. Równocześnie dla poprawnie określonego ale niezidentyfikowalnego modelu metoda pozostawała czuła, osiągając wartość 0,050 przy n=200 z przedziałem Clopper-Pearsona od 0,024 do 0,090.
Ważność tego podejścia wynika z zasadniczego ograniczenia tradycyjnych sprawdzian dokładności. Błędnie określony estymator osiąga RMSE równy 2,7 razy 10^-2, poniżej szumu obserwacyjnego dla sigma większej lub równej 0,05, jednocześnie współczynnik jest źle określony o 29,7 procent przy zerowym szumie i 31,2 procent przy największym szumie. Problem nie jest ograniczony do konkretnej architektury - zarówno proste dopasowanie jednoobjętościowe, jak i sieci neuronowe z 49 i 241 parametrami zbiegają się do tego samego pseudo-prawdziwego współczynnika.