Naukowcy z arXiv CS.AI wykazali fundamentalną rozbieżność między tym, co liniowe sondy mogą wykryć w modelach języka, a tym, co faktycznie wpływa na niezawodność systemu. Choć sondy osiągają bliską perfekcji dokładność w wykrywaniu uszkodzonego kontekstu, ta zdolność okazuje się całkowicie nieistotna dla przewidywania, czy model udzieli poprawnej odpowiedzi. Problem ujawnia się szczególnie wyraźnie w wielokrokowych łańcuchach arytmetycznych, gdzie sondy reagujące na korupcję nie niosą żadnych informacji o prawidłowości końcowego wyniku.
Wyniki kwestionują szereg założeń dotyczących monitorowania i interwencji. Gdy modele zmuszono do zwracania pewności w ustrukturyzowanych formatach, sieciały się do zaledwie dwóch wartości o identycznych wskaźnikach błędów. Badanie testowało też strategię "persistence beats peak" - hipotezę, że sondy utrzymujące sygnał przez kolejne kroki powinny lepiej rozróżniać wyniki prawidłowe od błędnych. Hipoteza ta okazała się błędna. Wzorzec "znamy ale nie mówimy" pojawia się konsekwentnie u modeli rozmaitych typów, w tym dedykowanych do wnioskowania.
Praktyczne implikacje są złożone. Interwencje oparte na sondach okazują się silnie zależne zarówno od konkretnego modelu, jak i typu błędu. Strategia branch-and-pick przyniosła korzyści netto u wszystkich badanych modeli i okazała się jedyna bezpieczna dla Llama-3.1-8B, gdzie uratowała 4 błędne ślady, nie łamiąc żadnych poprawnych. Tymczasem reprompt i replace-prior psują prawidłowe sekwencje prawie tak samo często, co uratowują błędne. Wnioski wskazują, że sondy są koniecznym uzupełnieniem dla werbalnie wyrażanej pewności, lecz nie istnieje uniwersalna interwencja - wymaga się inteligentnego routingu uwzględniającego parametry konkretnego modelu i charakter błędu.