Naukowcy opracowali nową metodę próbkowania zwaną DEGS (Depth-Entropy Guided Sampling), która poprawia zdolności rozumowania modeli języka bez potrzeby kosztownego treningu. Zamiast polegać na tradycyjnych metodach, takich jak uczenie przez wzmacnianie, DEGS analizuje wewnętrzne warstwy transformera, śledząc, jak zmienia się entropia logitów w głębszych warstwach sieci.
Zasadnicze odkrycie polega na tym, że mocne modele rozumowania, w tym te poddane post-treningowi z reinforcement learningiem, wykazują charakterystyczny wzorzec: entropia pozostaje wysoka przez większość warstw, aż nagle się zapada na głębszych poziomach. Ta "późna zapaść entropii" to naturalny sygnał, że model dobrze rozumie problem. Naukowcy wykorzystali ten sygnał wewnątrz ramework MCMC power-sampling, tworząc metodę, która łączy prawdopodobieństwo sekwencji z informacją o głębi zapaści entropii.
Wyniki testów na trzech otwartych modelach i czterech benchmarkach rozumowania pokazują, że DEGS osiąga wyniki porównywalne z kosztownym trenowaniem, ze szczególnie dużymi zyskami na trudniejszych zadaniach i poza domeną treningową. Metoda wymaga jedynie kilkuprocentowego narzutu obliczeniowego, co czyni ją praktyczną do wdrożenia w istniejących systemach bez ponownego trenowania.