Badacze z arXiv opracowali nową strategię alokacji obliczeń rekurencyjnych w pętlowych modelach języka, wprowadzając metodę MixerLoop, która selektywnie powtarza komponenty sieci zamiast całych bloków warstw. Tradycyjne podejście do modelów z pętlami obliczeniowymi powtarza pełny stos warstw, ale tego typu architektury wykonują zbędne obliczenia, ponieważ różne komponenty - miksery i gęste sieci feed-forward - pracują z różną wydajnością i pełnią różne funkcje.
Kluczem do tego rozwiązania jest koncept Iterative Transport Rank (ITR), który mierzy kumulatywny wpływ kolejnych zastosowań komponentów na przejściu pozycji w sekwencji. Naukowcy argumentują, że rekurencja jest cenna tylko wtedy, gdy otwiera nowe kierunki wpływu międzypolejowego, które zostają zachowane w wyjściu modelu. MixerLoop powtarza każdy warstwę miksera z GatedDeltaNet, ale aplikuje gęstą sieć FFN tylko raz, co stanowiowo zmniejsza wydajność obliczeniową.
Eksperymenty na modelach o 15M i 110M parametrów pokazały, że MixerLoop przewyższa wersję bez rekurencji i pełną rekurencję bloków we wskaźnikach CORE na mniejszym modelu, jednocześnie zmniejszając obliczenia projekcji w grzbiecie rekurencyjnym o 45,9 procent. Ta praca sugeruje, że korzyści z głębi rekurencyjnej mogą być zachowane przez inteligentną alokację obliczeń zamiast ślepego powtarzania całych architektur.