Zespół badawczy zajął się fundamentalnym problemem: jak agenty AI mają zapamiętywać informacje o użytkownikach w taki sposób, aby były przydatne, ale bezpieczne? Problem jest bardziej skomplikowany niż wcześniej sądzono, bo pamiętanie nie to już tylko cecha wag modelu – to funkcja, którą trzeba zaprojektować w momencie uruchamiania systemu w produkcji.
Badacze przetestowali różne strategie: od zaawansowanego streszczania danych aż po zmianę metody usuwania informacji. Okazało się, że agresywne streszczanie kluczowych faktów znacznie zmniejsza ryzyko – model GPT-4o-mini przeciekał wrażliwe dane 64% mniej przy takim podejściu. Ponadto, gdy dane zostaną raz skompresowane, zwiększenie liczby pobieranych rekordów już nie przywraca wycieki informacji. To dobra wiadomość dla prywatności.
Jednak pojawił się problem z samym usuwaniem danych. Jeśli użytkownik zażąda, aby jego informacje zostały usunięte, prosta operacja na głównym magazynie danych okazuje się niewystarczająca – skompresowane kopie pozostają w innych warstwach systemu i mogą być odzyskane w około 20% przypadków. Jedynie kompleksowe czyszczenie całej pipeline'u lub technika tombstone (markowanie usuniętych wpisów) gwarantuje całkowitą eliminację śladów. Wyniki sugerują, że projektu pamięci agentów AI nie można traktować lekko – trzeba oceniać wpływ każdej decyzji architektonicznej na ochronę danych, użyteczność i możliwość usuwania informacji.