Naukowcy przedstawili PraMem, nową metodę adresującą problem predykcji zachowania na długim horyzoncie, czyli przewidywania następnych działań użytkownika na podstawie bogatej historii jego zachowań. Zamiast tradycyjnego podejścia kompresji kontekstu, które próbowało zmniejszać obciążenie długimi sekwencjami danych, zespół zaproponował paradygmat, który zmienia perspektywę - długa historia to nie problem do rozwiązania, ale zasób do wykorzystania.
Metoda PraMem działa poprzez wstępne praktykowanie się modelu na historycznych danych, aby wybudować tzw. pamięć doświadczenia. Ta zbudowana pamięć następnie wspomaga model jako dodatkowe wejście, pomagając mu w dokładniejszym przewidywaniu przyszłych zachowań. Badacze testowali swoje rozwiązanie na różnych zadaniach i uzyskali lepsze rezultaty niż poprzednie metody zarządzania pamięcią. Podejście to rozwiązuje fundamentalny problem dużych modeli językowych - ich trudność w wychwytywaniu utajonych wzorców zachowań oraz ich tendencję do wprowadzania błędów poznawczych przy pracy z długimi sekwencjami.
Problematyka predykcji zachowania użytkownika ma praktyczne zastosowanie w wielu systemach AI - od rekomendacyjnych po asystentów osobistych. Kod metody został udostępniony na GitHubie, co otwiera możliwość dalszego rozwoju i adaptacji rozwiązania przez społeczność badawczą. Analiza mechanizmów działania pamięci doświadczenia dostarcza też cennych wglądów w to, jak modele uczą się i ewoluują podczas pracy z danymi historycznymi.