Badacze z arXiv zbadali, czy małe modele językowe poniżej 3 miliardów parametrów potrafią ocenić własną pewność i zidentyfikować pytania, na które powinny uniknąć podawania odpowiedzi. Testowali siedem różnych podejść obejmujących wczesne zatrzymywanie oparte na entropii tokenów, estymację semantycznej entropii i inteligentne kierowanie niepewnych zapytań do większych modeli eksperckich na siedmiu parach modeli i pięciu standardowych benchmarkach NLU.
Główne odkrycie jest zaskakujące: entropia na poziomie tokenów prawie całkowicie zawodzi u małych modeli - w 91% kombinacji zbioru danych i modelu średnia entropia tokenów pozostaje bliska zeru niezależnie od tego, czy odpowiedź jest prawidłowa. Oznacza to, że tradycyjne sygnały ufności oparte na entropii tokenów są całkowicie bezużyteczne przy tej skali. Jednak autorzy znaleźli eleganckie rozwiązanie: semantyczna entropia, liczona poprzez generowanie wielu przykładowych odpowiedzi, grupowanie ich według znaczenia i pomiar rozprzestrzeniania się niepewności, skutecznie odzyskuje sygnał pewności.
Wykonując inteligentne przekierowanie zapytań o wysokiej niepewności do większych modeli eksperckich, zespół osiągnął poprawy dokładności aż o 50 punktów procentowych. Interesujące jest, że przekierowywanie między różnymi rodzinami modeli (na przykład SmolLM 360M do Phi-3.5-mini) dało średnio +22% poprawy w porównaniu z +6,8% dla routowania w ramach tej samej rodziny. To sugeruje, że jakość modelu eksperta ma większe znaczenie niż kompatybilność architekturalna. Wnioski pokazują, że wartość metod opartych na entropii dla małych modeli nie leży w oszczędzaniu mocy obliczeniowej, ale w inteligentnym rozdzielaniu zasobów: wydawaniu więcej tokensów tam, gdzie są naprawdę potrzebne.