Badacze odkryli poważne ograniczenie w metodzie CoCoNuT, która umożliwia modelom językowym rozumowanie w latentnej przestrzeni. Zamiast podążać jednym łańcuchem myśli, model eksploruje wiele ścieżek równocześnie. Problem? Na każdym kroku rozumowania pośrednie stany terstwu są przecracanymi, co powoduje utratę kluczowych faktów z wcześniejszych etapów. Na zbiorze HotpotQA CoCoNuT uzyskał zaledwie 10,4% dokładności, pogorszając się w stosunku do standardowego podejścia Chain of Thought (11,0%).
Propozycja AGCLR (Adaptive Gated Continuous Latent Reasoning) rozwiązuje to elegancko. Wprowadza ona Gated Concept Stream — persistent residual memory, która zachowuje się przez wszystkie kroki rozumowania. Trzy uczące się bramki kontrolują ten strumień: write gate zatwierdza pośrednie fakty do pamięci, read gate pobiera istotne poprzednie stany, a forget gate odrzuca nieużyteczny kontekst. To jak notatka, którą model prowadzi dla siebie podczas myślenia.
Ewaluacja na GSM8K (matematyka), HotpotQA (pytania wielokrokowe) i ProsQA wykazała spójne poprawy. Im głębnze curriculum (sztuczne zwiększanie trudności), tym większa przewaga AGCLR. Badanie sugeruje, że tradycyjne residual connections na poziomie warstw mogą nie być wystarczające — czasami potrzebujesz pamięci, która przetrwa cały proces rozumowania.