Badacze wprowadzili SRRM (Simple Retrieval-Reconstruction Memory), lekki i w pełni powtarzalny benchmark do oceny zdolności małych modeli języka do pracy z długimi kontekstami. Istniejące benchmarki skupiały się głównie na zadaniach retrieval-owych, nie dając pełnego obrazu tego, czy skuteczne wyszukiwanie informacji oznacza naprawdę pełne zachowanie pamięci na długim kontekście.
Benchmark ocenia zarówno targeted retrieval (wyszukiwanie konkretnych faktów) jak i globalną rekonstrukcję informacji, wprowadzając metryką Memory Preservation Ratio (MPR) do quantyfikacji relacji między wydajnością retrieval'u a rekonstrukcji. Testy przeprowadzono na syntetycznym zbiorze danych obejmującym konteksty od 10 do 100 stwierdzeń faktycznych, testując trzy modele Qwen2.5 o wielkościach 0.5B, 1.5B i 3B parametrów.
Wyniki ujawniły zaskakujący trend: Qwen2.5-1.5B osiągnął najlepsze rezultaty ze wszystkich testowanych modeli, uzyskując 86.7% dokładności retrieval'u, 45.7% wydajności rekonstrukcji i MPR wynoszący 0.53, znacznie przewyższając większy model Qwen2.5-3B (odpowiednio 72.2%, 18.5% i 0.26). Kluczowe odkrycie pokazało, że wydajność rekonstrukcji spada znacznie szybciej niż dokładność retrieval'u wraz ze wzrostem informacji kontekstowej. To sugeruje, że ocena samo oparta na retrieval'u jest niewystarczająca dla pełnego zrozumienia rzeczywistych możliwości długocontextowych małych modeli.