FALCON-Discover to nowy framework pozwalający zidentyfikować miejsca, gdzie modele machine learning robią błędy mimo bardzo wysokiej pewności siebie. Zamiast oceniać kalibrację w sposób ogólny, badacze zaproponowali patrzenie na to jako na problem lokalny - szukanie zwartych regionów w przestrzeni predykcji, gdzie błędy skupiają się z bardzo dużą pewnością.
Metoda jest model-agnostyczna i post-hoc, co oznacza, że można ją zastosować do praktycznie każdego wyuczonego modelu bez konieczności modyfikowania samego treningu. Framework ocenia predykcje na podstawie czterech sygnałów: bezpośredniej pewności, lokalnego wsparcia (czy inne punkty blisko zgadzają się z predykcją), zgodności w sąsiedztwie oraz stabilności wobec perturbacji. Kombinacja tych sygnałów tworzy ranking rozbieżności, który znacznie lepiej wyłapuje niebezpieczne przepewnienie niż sama analiza pewności.
Badania przeprowadzone na siedmiu zbiorach danych tabelarycznych z modelami XGBoost i CatBoost pokazały, że problemy ze skoncentrowaną fałszywą pewnością są rzeczywiste i powtarzalne. Okazało się, że najlepszy detektor zmienia się w zależności od zbioru danych - czasem pomocna jest nauka zdyskontowanych sygnałów, czasem lepiej sprawdza się ranking skoncentrowany na stabilności. Wyniki sugerują, że overconfidence warto traktować nie jako pojedyncze zagadnienie kalibracji, ale jako rodzinę problemów wymagających dedykowanego wykrywania w obszarach, gdzie pewność, wsparcie i stabilność się rozbiegają.