Naukowcy z arXiv zaproponowali MILES (Modular Instruction Memory with LEarnable Selection), framework który umożliwia modelom języka dynamiczne budowanie i wykorzystywanie pamięci w celu улучшения rozumowania w czasie testowania. Zamiast traktować każdy problem osobno, system gromadzi reusable experience w postaci modułowych jednostek pamięci, które mogą być adapatywnie stosowane do nowych zadań.
Istniejące metody pamięciowe mają dwa główne problemy: albo przechowują całe szablony rozwiązań, które źle uogólniają się na nowe problemy, albo używają heurystycznych reguł wyboru na poziomie kroków, które nie są optymalizowane pod kątem poprawności finalnej odpowiedzi. MILES rozwiązuje to poprzez strukturę asymetrycznych par - każda jednostka pamięci zawiera embedding podcelu oraz konkretną instrukcję, wraz z nauczalną głowicą wyboru. Ten design pozwala na tzw. coarse-to-fine retrieval: na etapie grubym system rozszerza pamięć i zbiera supervizję z pewnych próbek do trenowania głowic wyboru, a na etapie drobnym zastosowane są nauczane głowice do reranking'u kandydatów i kierowania rozumowaniem dla niepewnych próbek.
Klucz do praktyczności MILES leży w tym, że cała procedura uczenia działa w warunkach rzeczywistego testowania - bez potrzeby Large-scale training data ani fixed action spaces, które wymagały istniejące podejścia do learning selection policies. Dlatego metoda jest szczególnie użyteczna w scenariuszach gdzie pamięć rozszerza się inkrementalnie i dostępna jest tylko ograniczona supervizja. Taki podход może znacząco poprawić wydajność LLM w sekwencyjnych zadaniach wymagających złożonego rozumowania.