Agenty oparte na modelach językowych mające pracować z bardzo długimi tekstami stają przed fundamentalnym wyzwaniem: jak wybrać, co przechowywać w ograniczonej wielkości oknie kontekstu? MEMENTO rozwiązuje ten problem poprzez nauczenie modelu Qwen3-8B sztuki tworzenia efektywnych notatek streszczających najważniejsze informacje, zamiast przechowywania całej historii dialogu.
Proces treningu miał dwie fazy. Pierwsza - bootstrapping - wykorzystała syntetyczne trajektorie z retrospektywnie wygenerowanymi notatkami, co pozwoliło modelowi nauczyć się zasad dobrego streszczania. Druga faza, oparta na reinforcement learning, optymalizowała notatki za pomocą złożonej funkcji nagrody uwzględniającej poprawność odpowiedzi, jakość notatek oraz kalibrację pewności modelu. To podejście przeszkoliło model nie tylko do kompresji kontekstu, ale również do spontanicznego odkrycia zaawansowanych strategii takich jak context folding czy backtracking oparty na pewności odpowiedzi.
Wyniki są imponujące. MEMENTO podnosi dokładność Qwen3-8B z 36,9% do 67,8% na zadaniach pytań o książki o długości do 2,5 miliona tokenów, nigdy nie trzymając więcej niż 20K tokenów aktywnie. Model znacznie przewyższa GPT-4.5 (osiągający 13,1% dokładności) przy kosztach poniżej 1/50, a prawie dorównuje znacznie większemu GLM-5.3 (69,3%) przy 9 razy niższych kosztach obliczeniowych. To pokazuje, że inteligentne zarządzanie kontekstem może być równie efektywne jak zwykłe zwiększanie rozmiaru modelu.