Badacze z arXiv zaproponowali nową architekturę pamięci użytkownika dla spersonalizowanych agentów AI, która przechowuje informacje perceptualne - głos, wygląd twarzy, ton wypowiedzi - zamiast polegać wyłącznie na napisach i transkrypcjach. Dotychczasowe podejście oparte na tekście utraciło ogromną ilość informacji o tożsamości, osiągając zaledwie 0,11 recall w stosunku do dedykowanego enkodera.
Rozwiązanie opiera się na dwustopniowym podejściu. Model wizyjno-jezykowy identyfikuje obiekty i ich lokalizację w kontekście, natomiast dedykowany enkoder ekstrahuje klucz tożsamości, przechowywany jako jeden token inline w parametrach modelu. Ta kombinacja osiąga 0,96 recall na testach Oracle, podczas gdy samo uzasadnianie wizyjno-jezykowe radzi sobie z rozpoznawaniem twarzy na poziomie zaledwie 0,54 recall, a enkoder bez kontekstu traci tożsamość drugiej osoby w scenie z dwoma osobami. Kluczową zaletą jest to, że system jest training-free - pracuje z zapauzowanymi modelami bez dodatkowego treningu, a rejestracja nowych użytkowników wymaga tylko O(1) obliczeń.
Badanie na benchmarku PerceptMem z 12 domenami i 1080 zadaniami pokazuje fundamentalne różnice między przechowywaniem tożsamości a faktami: tożsamość ma ograniczoną pojemność i wymaga parametrycznych banków danych, podczas gdy dokładne fakty wymagają ścisłego wiązania. To rozróżnienie sugeruje, że przyszłe systemy AI powinny przechowywać pamięć użytkownika w różnych formatach w zależności od typu informacji, a nie traktować wszystko jako tekst.