Czy modele językowe uczą się podczas myślenia? Test adaptacji gradientów na różnych architekturach

Naukowcy zbadali, czy modele języka mogą się uczyć podczas przetwarzania tekstu, stosując technikę zwaną dynamic evaluation - pojedyncze kroki optymalizacji SGD wykonywane na fragment tekstu. Testy przeprowadzono na modelach Qwen3 (1.7B, 4B), Gemma-4-E4B oraz hybrydowych architekturach z linear-attention, pokazując zróżnicowane wyniki w zależności od typu modelu.

Modele z tradycyjną architekturą softmax-attention wykazały obiecujące rezultaty - wykonując jeden krok gradientowy na 128-tokenowych fragmentach tekstu, osiągnęły zmniejszenie straty predykcji następnego tokenu o 5-8% na reszcie dokumentu, co było porównywalne z wynikami zamrożonego modelu mającego dostęp do pełnego kontekstu 32k tokenów. W kontrascie, hybrydowe modele Gated-DeltaNet (Qwen3.5-4B, Qwen3.8-27B) wykazały prawie żaden wzrost wydajności, sugerując że linear-attention bloki już wbudowały mechanizm adaptacji. Technika przeniosła się na modele dyfuzji z większym efektem - 8% na Nemotron-Diffusion-8B i 17-20% na DiffusionGemma-26B.

Jednak kluczowe odkrycie ukazuje ograniczenia tej metody: adaptacja dotyczy głównie stylu i słownika tekstu, a nie faktycznego odzyskiwania informacji. Testy na benchmarkach takich jak RULER, BABILong, LongBench-v2, SCOTUS i HotpotQA wykazały, że aktualizacje wag na pełnym dokumencie nie odzyskują dokładności utraconej przez obcięcie kontekstu. Ponadto, zapisywanie faktów poprzez next-token loss przechowuje format promptu zamiast samych faktów, a koszt tego podejścia wynosi 36-38 punktów na GSM8K przy każdej dawce.