Naukowcy z arXiv opublikowali badania nad ResMem - metodą, która przetwarza wcześniej pobrane informacje w trwałą, parametryczną pamięć dla dużych modeli językowych. Zamiast ciągle wyszukiwać dane online, model uczy się kodować wiedzę wewnątrz swoich wag, co drastycznie zmniejsza koszty obliczeniowe i magazynowe.
Tradycyjne podejścia RAG polegają na pobieraniu tekstu w momencie odpowiadania na pytanie, co wymaga utrzymywania ogromnych indeksów i wywoływania wyszukiwarki dla każdego zapytania. ResMem odwraca ten proces - czyta pobrane teksty offline i uczy się przewidywać, jak powinna być skorygowana ostateczna odpowiedź modelu. Kluczowa innowacja polega na tym, że parametryczna pamięć uczy się rezidualnego logitu - dodatku do oryginalnych predykcji modelu, a nie niezależnego przewidywania. To znacznie efektywniejsze, bo wyrównuje się z tym, co model już wie.
Wyniki na zbiorze Wikipedia i pięciu datasetach QA pokazują, że ResMem zużywa 94,7% mniej pamięci niż systemy kNN, jednocześnie poprawiając dokładność. Ważne - metoda psuje mniej wcześniej poprawnych odpowiedzi modelu, co sugeruje bezpieczniejszą integrację wiedzy. To znaczący krok w kierunku efektywniejszych LLM, które mogą uczyć się z zewnętrznych źródeł bez permanentnej zależności od online'owych baz danych.