Wysokoufne błędy w modelach LLM przez długi czas traktowano jako znak wewnętrznej kruchości - założenie było takie, że pewne nieprawidłowe odpowiedzi rozpadają się przy najmniejszych perturbacjach. Nowe badanie sugeruje alternatywę: stabilną błędną kalibrację, gdzie model pozostaje pewny błędnej odpowiedzi nawet pod wpływem małych zmian wejścia.

Drużyna połączyła dwa podejścia diagnostyczne. Pierwszy to audit score na poziomie wyjścia, który identyfikuje domeny gdzie model jest przesadnie ufny w błędne odpowiedzi, a drugi to badanie czułości stanów ukrytych mierzące jak bardzo reprezentacje wewnętrzne reagują na perturbacje. Testy przeprowadzono na wielodomenowym zbiorze faktów binarnych, obserwując trzy open-weight modele. Self-critical prompting rzeczywiście zmniejszał czułość reprezentacji ukrytych na wszystkich warstwach.

To odkrycie ma ważne konsekwencje. Zamiast błędów będących wynikiem delikatnej równowagi wewnętrznego stanu, część wysokoufnych błędów może być głęboką błędną kalibracją samego modelu. Oznacza to że tradycyjne podejścia do poprawy, opierające się na dodaniu abstencji czy self-critique, mogą nie rozwiązywać problemu u źródła. Naukowcy pokazują, że overconfident errors nie wykazują jasno większej czułości lokalnej niż pewne poprawne odpowiedzi, co sugeruje iż błędy te mogą wymagać fundamentalniej ingerencji w proces szkolenia lub architekturę modelu.