Badacze z arXiv zaproponowali metodę kontrolowania zachowania modelów rekurencyjnych, które mogą wykonywać dodatkowe iteracje w czasie testu. Problem polega na tym, że więcej iteracji nie zawsze oznacza lepsze rezultaty - czasami pogorsza ostateczną odpowiedź. Zespół zidentyfikował mierzalną właściwość trenowanego operatora - jego skończonoczasowy reżim dynamiczny (określany jako settling, marginal lub drifting) - która wskazuje, czy dodatkowe iteracje będą korzystne.
Kluczowe odkrycie dotyczy warunku bezpieczeństwa głębi: gdy przesunięcie operatora w każdym kroku jest małe w stosunku do marginesu dekodera, dekodowana odpowiedź nie może zmienić się w wyniku dalszych iteracji. Warunek ten pozwala na wiarygodną ekstrapolację poza horyzont treningowy. Eksperymenty przeprowadzono na zadaniach algorytmicznych trenowanych z 800 nieaugmentowanych przykładami na każdy poziom trudności, gdzie modele osiągające równowagę nie degradowały się wraz ze zwiększoną głębią, a wręcz konwertowały ją w wyższą dokładność na trudniejszych przypadkach - przykładowo dla Sudoku uzyskując poprawę z 0,19 do 0,34 poza horyzont treningowy.
Użytecznym narzędziem okazał się pojedynczy terminal fixed-point objective, który jednocześnie zmienia reżim dynamiczny i zachowanie głębi. Badacze sformułowali cztery operacyjne kryteria dla użytecznej głębi w czasie testu i zastosowali je do katalogu błędów, a także przeprowadzili weryfikację na modelu Huginn-3.5B. Badania te otwierają nowe możliwości dla iteracyjnych rozumowań, które mogą wiarygodnie skalować się na trudniejszych problemach bez ryzyka degradacji wydajności.