Duże modele językowe płynnie wypowiadają nieprawdy, ale wewnętrznie "wiedzą", kiedy grają na oślep - przypisują sobie niższe prawdopodobieństwo dla błędnych odpowiedzi. Naukowcy testowali, czy ten naturalny sygnał wątpliwości można wykorzystać bez etykiet, by uczyć modele kiedy powinny się wstrzymać od zgadywania zamiast zmyślać.
Drużyna przeprowadziła fine-tuning sześciu modelów open-weights (rozmiary 1B-8B z dwóch rodzin) za pomocą LoRA, ucząc je odpowiadać gdy są pewne i mówić "nie jestem pewien" gdy brakuje im pewności - bazując wyłącznie na sygnale pewności, bez żadnych poprawnych-błędnych etykiet. Na zadaniach factual question answering model arbitrażu oceniał jakość. Wynik był zaskakujący: przy dopasowanym pokryciu label-free metoda nie wykazywała statystycznie istotnych różnic od trenowania na etykietowanych danych.
Kontrola, która zamiast abstencji głęboko trenowała trudne przykłady, nie pomogła - pokazując że zysk pochodzi z kalibracji, nie z zapamiętywania. Jedyne słabe miejsce: model nie potrafi oznaczyć pewnie wyrażonych faktów, które jednak są błędne. To oznacza, że wewnętrzny sygnal wątpliwości modelu jest prawie darmowym substytutem dla zbiorów etykietowanych przy uczeniu abstencji, co ma duży potencjał praktyczny.