Zespół badaczy zidentyfikował krytyczne luki w systemach automatycznego odkrywania nauki, pokazując że przejście standardowego testu niekoniecznie potwierdza poprawność proponowanego wyjaśnienia. Naukowcy opracowali cztery operacje na opisach fizycznych: identyfikację redundancji (L1), uogólnianie dynamiki (L2), przenoszenie struktury (L3) i wnioskowanie o brakujących wielkościach z nierównowag zachowania (L4). Każdą z tych operacji testowali przy użyciu trzech kryteriów oceny: null acceptance rating (NAR), positive acceptance rating (PAR) i consequence agreement rating (CAR).
Najbardziej zaskakujące odkrycie dotyczy trywialnej redukcji mapującej każdy stan na zero - doskonale przewiduje ona przyszłe stany 96% spośród 129 testowanych publicznych systemów chaotycznych, mimo że całkowicie eliminuje wszelką zmienność dynamiczną. Redukcja ta przechodzi test zamkniętości, ale pada niezależny test zachowania obserwabli. Na kontrolowanych benchmarkach kombinacja wszystkich kryteriów zaakceptowała wszystkie 24 autentyczne redukcje i odrzuciła wszystkie 72 zerowe przypadki.
Wyniki mają szerokie implikacje dla interpretabilności modeli AI i odkrywania wzorców naukowych. W modelach lingwistycznych i białkowych ESM-2 liniowa analiza CKA pozostaje niezmieniona przy losowych rotacjach proponowanych odpowiedników, natomiast zlokalizowane interwencje odróżniają autentyczne mapowania od testowanych zerowych przypadków. W rzadkich autoenkoderowach test wzbogacenia odrzuca wszystkie 16 testowanych zer, ale niezależna ablacja wspiera 45% ocenianych wzbogaconych cech wobec zaledwie 0,5% dopasowanych kontroli. Badanie ujawnia, że opisowe testy mogą zaakceptować całkowicie błędne wyjaśnienia - połączenie wielu niezależnych kryteriów jest niezbędne do wiarygodnego zatwierdzania odkryć.