Transformery pętlowe zwiększają obliczenia w fazie testowania przez wielokrotne stosowanie wspólnego bloku rekurencyjnego, a naukowcy z arXiv badają, jak w rzeczywistości działają mechanizmy adaptacyjnej głębokości w tych modelach. Problem polega na tym, że tradycyjnie jedna funkcja dystrybucji wyjść pełni dwie role jednocześnie: stanowi regułę zatrzymania podczas wnioskowania oraz wagę przy obliczaniu strat dla każdej głębokości während trenowania. Ta dualność łączy wybór punktu wyjścia z kształtowaniem trajektorii stanów pośrednich, co komplikuje diagnostykę problemów - nie wiadomo, czy słaba wydajność pochodzi z mechanizmu odczytu, indukowanej trajektorii czy ich interakcji.
Badanie obejmuje eksperymenty na kontrolowanych zadaniach syntetycznych takich jak arytmetyka modularna i parzystość binarna oraz na dużych modelach Ouro-1.4B i 2.6B. Kluczowe odkrycie: nadzór z stałym priorem głębokości, który nie korzysta z zależnej od wejścia polityki zatrzymania, wytwarzał trajektorie świadome trudności zadania ze stojącymi sygnałami zatrzymania. Proste odczyty oparte na pewności zastosowane post-hoc często dorównywały lub przewyższały bardziej skomplikowane uczone bramy linearne i MLP.
Gdy badacze przefitowali bramy na zamrożonych trajektoriach, odkryli gdzie dokładnie leży problem: głównie w trajektorii indukowanej przez wspólny trening bramy, a nie w ograniczonej ekspresyjności samej bramy. Ten sam wzorzec pojawił się w ewaluacjach modelu Ouro, gdzie wytrenowane wcześniej bramy do zastanawiania się okazały się konkurencyjne, ale nie zawsze optimalne w sensie Pareta. Wyniki mają znaczenie dla projektowania efektywniejszych transformerów adaptacyjnych - sugerują, że przyszłe ulepszeń powinno się skupić na lepszym kształtowaniu trajektorii podczas trenowania niż na bardziej zaawansowanych mechanizmach bramy.