Naukowcy badają transfer pamięci haszowanej między różnymi modelami językowymi, gdzie pamięć wytrenowana na jednym modelu jest zamrażana i podłączana do innego modelu z nowym czytnikiem. To stawia fundamentalne pytanie: co jest ważniejsze przy przeniesieniu pamięci między modelami - sama zamrażana pamięć czy czytnik po stronie modelu docelowego?
Podejście Engram-style to szara strefa między dwoma tradycyjnymi reżimami. Z jednej strony jest retrieval nieparametryczny, który oferuje elastyczną dostęp do wiedzy, ale dodaje opóźnienie pobierania i obciążenie kontekstu. Z drugiej strony jest adaptacja parametryczna, która jest wydajna w czasie wnioskowania, ale zapleciona z wagami modelu i trudna do aktualizacji. Pamięć adresowana przez mały wytrenowany czytnik stanowi środkowe rozwiązanie.
Ablacje przeprowadzone w badaniu pokazują, że zarówno wytrenowana zawartość pamięci, jak i prawidłowe adresowanie mają znaczenie, ale transferowana tabela staje się użyteczna dopiero poprzez czytnik wyrównany do modelu docelowego. W zadaniach odpowiadania na pytania dwuwarstwowy, czterogałęziowy czytnik prawie całkowicie zmniejsza przerwę między ponownym użyciem w tym samym modelu a transferem krzyżowym, osiągając średni wynik 38,8 według kontrolowanego protokołu oceny. To badanie ma implikacje dla efektywnego transferu wiedzy między modelami i sugeruje, że architektura czytnika jest kluczowa dla sukcesu transferu pamięci.