Naukowcy z arXiv zaprezentowali przełomową metodę treningową Elastic Latent Recurrence (ELR), która rozwiązuje kluczowy problem rekurencyjnych modeli językowych - tzw. one-loop tax. Rekurencyjne modele językowe działają poprzez powtarzane uruchamianie tego samego bloku warstw sieciowych, co pozwala jednemu checkpointowi na dynamiczną zmianę liczby iteracji w zależności od wymagań wnioskowania. Problem polegał na tym, że model z jednym przebiegu osiągał znacznie gorszą dokładność niż zwykły model tej samej wielkości, co czyniło go niepraktycznym dla aplikacji wrażliwych na opóźnienia.
Elastic Latent Recurrence eliminuje ten problem poprzez trzy kluczowe innowacje: gated state update z parametrycznym rozmiarem kroku, mieszanie liczby loop'ów wewnątrz każdej aktualizacji optymalizera oraz warunkowanie każdego przebiegu jego indeksem pętli i budżetem obliczeniowym. Pierwsze dwa elementy zachowują dokładność modelu przy jednym przebiegu na poziomie zbliżonym do modelu nie-rekurencyjnego, podczas gdy trzeci element zmniejsza stratę przy każdej dodatkowej pętli. Mieszane głębokości można wprowadzić dopiero w końcowych fazach pretrainingu, co ogranicza dodatkowe koszty treningowe.
Metoda ma znaczące implikacje praktyczne. W modelach MoE ponowne użycie tras Expert z pierwszego przebiegu w kolejnych iteracjach zmniejsza czas aktualizacji o 11,7% bez zmian w dokładności. Przy wnioskaniu, przechowywanie tylko cache'u KV ostatniej pętli utrzymuje zużycie pamięci na poziomie jednego przebiegu. To otwiera nowe możliwości dla systemów wymagających elastycznego trade-offu między latencją a precyzją - użytkownik może dynamicznie zwiększać liczbę przebiegu w zależności od dostępnych zasobów i wymagań dokładności.